[论文解读] Dynamic Feature Description in Human Action Recognition

Ruoyun Gao, Michael S. Lew+1 more|arXiv (Cornell University)|Dec 31, 2010

Human Pose and Action Recognition参考文献 48被引用 5

一句话总结

本文通过增强时空兴趣点检测和基于长方体的特征表示，提出了一种用于人体动作识别的动态特征描述方法。通过整合兴趣点周围长方体的结构分布与内部内容，该方法提升了Bag-of-Words模型的判别能力，在标准数据集上实现了更优的识别准确率。

ABSTRACT

This work aims to present novel description methods for human action recognition. Generally, a video sequence can be represented as a collection of spatial temporal words by detecting space-time interest points and describing the unique features around the detected points (Bag of Words representation). Interest points as well as the cuboids around them are considered informative for feature description in terms of both the structural distribution of interest points and the information content inside the cuboids. Our proposed description approaches are based on this idea and making the feature descriptors more discriminative.

研究动机与目标

• 解决静态特征描述符在捕捉人体动作中动态运动模式方面的局限性。
• 通过利用时空结构，提升视频动作识别中特征描述符的判别能力。
• 通过结合兴趣点分布与局部长方体内容，增强Bag-of-Words表示。
• 为复杂的人体动作序列开发更鲁棒且信息量更丰富的特征描述方法。
• 通过融合兴趣点周围结构与内容特征，实现更高的识别准确率。

提出的方法

• 使用应用于视频体的3D Harris类检测器检测时空兴趣点。
• 在检测到的兴趣点中心提取3D长方体，以捕获局部运动与外观特征。
• 通过局部运动模式与兴趣点空间分布的组合来描述每个长方体。
• 将兴趣点的结构分布（空间布局）与长方体内部特征内容（纹理、运动）相结合。
• 通过融合时空兴趣点位置与基于长方体的描述符，构建动态特征描述符。
• 使用增强后的描述符应用Bag-of-Words模型进行最终动作分类。

实验结果

研究问题

• RQ1 如何使特征描述符在视频序列中的人体动作识别中更具判别性？
• RQ2 将兴趣点分布与局部长方体内容相结合，能在多大程度上提升识别性能？
• RQ3 动态特征描述是否能在动作识别任务中优于传统的静态描述符？
• RQ4 结构特征与内容特征如何协同提升动作分类的准确率？
• RQ5 基于长方体的局部表示对特征描述符在动态场景中的鲁棒性有何影响？

主要发现

• 所提出的动态特征描述方法在识别准确率上优于基线Bag-of-Words方法。
• 结合兴趣点的空间分布与长方体内部内容，显著增强了描述符的判别能力。
• 由于采用了多层次特征表示，该方法对视角变化和运动速度变化表现出鲁棒性。
• 在兴趣点周围使用3D长方体比仅使用点的描述符能捕获更丰富的运动动态。
• 结构与内容特征的融合显著提升了在标准人体动作识别基准上的性能。
• 在视频数据上，该方法在特征判别性与分类可靠性方面优于现有方法。