[论文解读] Bag of Visual Words and Fusion Methods for Action Recognition: Comprehensive Study and Good Practice

Xiaojiang Peng, Limin Wang+2 more|arXiv (Cornell University)|May 18, 2014

Human Pose and Action Recognition参考文献 47被引用 128

一句话总结

本文对视频动作识别中的视觉词袋（BoVW）流程进行了全面研究，识别出在特征提取、编码和融合各阶段的最优配置。提出了一种结合Fisher向量（FV）与软视觉词袋（SVC）特征的混合表示方法，通过表示层融合实现SOTA性能：在HMDB51上达到61.1%，在UCF50上达到92.3%，在UCF101上达到87.9%。

ABSTRACT

Video based action recognition is one of the important and challenging problems in computer vision research. Bag of Visual Words model (BoVW) with local features has become the most popular method and obtained the state-of-the-art performance on several realistic datasets, such as the HMDB51, UCF50, and UCF101. BoVW is a general pipeline to construct a global representation from a set of local features, which is mainly composed of five steps: (i) feature extraction, (ii) feature pre-processing, (iii) codebook generation, (iv) feature encoding, and (v) pooling and normalization. Many efforts have been made in each step independently in different scenarios and their effect on action recognition is still unknown. Meanwhile, video data exhibits different views of visual pattern, such as static appearance and motion dynamics. Multiple descriptors are usually extracted to represent these different views. Many feature fusion methods have been developed in other areas and their influence on action recognition has never been investigated before. This paper aims to provide a comprehensive study of all steps in BoVW and different fusion methods, and uncover some good practice to produce a state-of-the-art action recognition system. Specifically, we explore two kinds of local features, ten kinds of encoding methods, eight kinds of pooling and normalization strategies, and three kinds of fusion methods. We conclude that every step is crucial for contributing to the final recognition rate. Furthermore, based on our comprehensive study, we propose a simple yet effective representation, called hybrid representation, by exploring the complementarity of different BoVW frameworks and local descriptors. Using this representation, we obtain the state-of-the-art on the three challenging datasets: HMDB51 (61.1%), UCF50 (92.3%), and UCF101 (87.9%).

研究动机与目标

• 系统评估BoVW流程中各组件对动作识别性能的影响。
• 研究在视频动作识别中融合多种描述符的不同策略的有效性。
• 识别构建鲁棒且准确的BoVW动作识别系统的最佳实践。
• 开发一种简单但有效的混合表示方法，利用不同编码方法和描述符之间的互补性。

提出的方法

• 作者在多个数据集（HMDB51、UCF50、UCF101）上评估了10种编码方法、8种池化与归一化策略以及3种融合方法。
• 使用局部时空特征（如iDT、HOG、HOF、MBH），并对特征进行预处理以降低描述符之间的相关性。
• 通过融合来自多个描述符（HOG、HOF、MBHx、MBHy）的Fisher向量（FV）和软视觉词袋（SVC）输出，提出一种混合表示方法。
• 采用表示层融合来组合特征，并应用幂次归一化和内部ℓ₂归一化以提升鲁棒性。
• 最终系统使用RBF核SVM进行分类，训练基于融合后的表示。
• 在流程的所有阶段进行消融实验，以隔离各组件的贡献。

实验结果

研究问题

• RQ1 不同局部特征与编码方法在BoVW框架下如何影响动作识别性能？
• RQ2 池化与归一化策略对最终识别准确率的相对影响是什么？
• RQ3 在融合多个描述符时，哪种融合策略——描述符层融合、表示层融合或早期融合——能取得最佳性能？
• RQ4 结合FV与SVC编码的混合表示能否通过利用其互补的统计特性提升性能？
• RQ5 在使用BoVW进行动作识别时，导致SOTA性能的关键设计选择是什么？

主要发现

• BoVW流程的每个阶段——特征提取、预处理、词袋生成、编码和池化——均显著影响最终识别准确率，次优选择可能抵消其他阶段的改进。
• 表示层融合始终优于描述符层融合和早期融合，尤其是在使用基于重建的编码方法（如SA-k、LLC、VQ）时。
• Fisher向量（FV）与软视觉词袋（SVC）表示的融合带来显著性能提升，原因在于其互补的统计特性（一阶与二阶矩 vs. 零阶与一阶矩）。
• 所提出的混合表示在HMDB51上达到61.1%的准确率，超越此前最佳结果3.9%，并在UCF50（92.3%）和UCF101（87.9%）上创下新SOTA，优于近期的深度学习与复杂编码方法。
• 研究表明，基于超向量的编码方法（如FV、SVC）对融合策略不敏感，因其具有稳定且低维的词袋表示；而基于重建的方法则更受益于表示层融合。
• 融合带来的性能增益主要源于不同描述符与编码方案之间的互补性，而非单纯增加特征维度。