[论文解读] Sympathy for the Details: Dense Trajectories and Hybrid Classification Architectures for Action Recognition

César Roberto de Souza, Adrien Gaidon+2 more|arXiv (Cornell University)|Aug 25, 2016

Human Pose and Action Recognition参考文献 54被引用 7

一句话总结

该论文提出了一种混合视频动作识别架构，结合手工设计的密集轨迹与Fisher向量编码及深度神经网络，在数据效率高的情况下实现了最先进性能。通过精心设计的特征归一化、时空结构和特征级数据增强，该模型在仅使用数百万张图像训练的大型端到端深度学习模型之上表现更优。

ABSTRACT

Action recognition in videos is a challenging task due to the complexity of the spatio-temporal patterns to model and the difficulty to acquire and learn on large quantities of video data. Deep learning, although a breakthrough for image classification and showing promise for videos, has still not clearly superseded action recognition methods using hand-crafted features, even when training on massive datasets. In this paper, we introduce hybrid video classification architectures based on carefully designed unsupervised representations of hand-crafted spatio-temporal features classified by supervised deep networks. As we show in our experiments on five popular benchmarks for action recognition, our hybrid model combines the best of both worlds: it is data efficient (trained on 150 to 10000 short clips) and yet improves significantly on the state of the art, including recent deep models trained on millions of manually labelled images and videos.

研究动机与目标

• 解决视频动作识别中的数据效率挑战，即深度学习模型需要大规模人工标注数据集。
• 通过将手工特征与深度学习相结合，克服纯手工特征的局限性，提升鲁棒性与建模能力。
• 设计一种混合架构，利用无监督表征学习（Fisher向量）与有监督深度网络，以增强性能。
• 证明通过精心设计的低级特征与训练流程，可超越复杂的端到端深度模型。
• 在仅使用150至10,000段短视频剪辑的极小训练数据下，于多个基准测试中实现最先进性能。

提出的方法

• 从视频帧和光流中提取密集轨迹，使用RootSIFT归一化和PCA生成低级描述符。
• 使用Fisher向量（FV）编码描述符，随后进行空间与时间聚合，形成视频级表征。
• 对FV表征应用平方根和ℓ₂归一化，然后在通道间拼接特征并重新归一化。
• 引入带有批归一化、ReLU和Dropout的有监督降维层，以学习紧凑且具有判别性的特征。
• 使用带有softmax（多类）或sigmoid（多标签）激活函数的全连接层进行动作预测。
• 通过堆叠特征而非复制样本的方式实施特征级数据增强，以提升泛化能力。

实验结果

研究问题

• RQ1 结合手工设计的时空特征与深度学习的混合架构，是否能在更少训练数据下超越端到端深度模型？
• RQ2 精心设计的选择（如归一化、时空结构、特征级增强）如何影响动作识别准确率？
• RQ3 与无监督或无降维相比，混合流程中的有监督降维是否能提升性能？
• RQ4 仅使用150至10,000段剪辑训练的模型是否能超越在数百万张图像和视频上训练的模型？
• RQ5 最优设计决策在不同动作识别基准上的泛化程度如何？

主要发现

• 所提出的混合模型在UCF-101上达到92.5%的平均准确率，超越先前最先进水平（91.5%），并优于在ImageNet或Sports-1M上训练的模型。
• 在HMDB-51上，该模型达到70.4%的平均准确率，显著优于先前最先进水平（FV-SVM为66.8%，TDD为65.9%）。
• 在High-Five数据集上，混合模型实现76.7%的mAP+，优于此前最佳的71.1%（FV-SVM）。
• FV-SVM基线本身在UCF-101上达到90.6%，在HMDB-51上达到67.8%，表明无需深度学习也能实现强劲性能。
• 与FV-SVM基线相比，混合模型在UCF-101上提升1.9%，在HMDB-51上提升2.6%，证实了深度特征学习的优势。
• 该模型在不同数据集上泛化良好，于UCF-101、HMDB-51、Hollywood2、High-Five及Olympics基准上均表现出一致的性能提升。