[论文解读] Fine-grained Activity Recognition with Holistic and Pose based Features

Leonid Pishchulin, Mykhaylo Andriluka+1 more|arXiv (Cornell University)|Jun 7, 2014

Human Pose and Action Recognition参考文献 26被引用 13

一句话总结

本文通过在包含410种活动的大规模数据集上对比整体特征（密集轨迹）与基于姿态的特征，研究了细粒度人体活动识别。研究发现，这两种表征方式具有高度互补性，性能因活动类型而异，且其组合能取得最佳结果，在具有挑战性的类别上平均mAP达到23.5%。

ABSTRACT

Holistic methods based on dense trajectories are currently the de facto standard for recognition of human activities in video. Whether holistic representations will sustain or will be superseded by higher level video encoding in terms of body pose and motion is the subject of an ongoing debate. In this paper we aim to clarify the underlying factors responsible for good performance of holistic and pose-based representations. To that end we build on our recent dataset leveraging the existing taxonomy of human activities. This dataset includes 24,920 video snippets covering 410 human activities in total. Our analysis reveals that holistic and pose-based methods are highly complementary, and their performance varies significantly depending on the activity. We find that holistic methods are mostly affected by the number and speed of trajectories, whereas pose-based methods are mostly influenced by viewpoint of the person. We observe striking performance differences across activities: for certain activities results with pose-based features are more than twice as accurate compared to holistic features, and vice versa. The best performing approach in our comparison is based on the combination of holistic and pose-based approaches, which again underlines their complementarity.

研究动机与目标

• 评估整体特征与基于姿态的特征在广泛活动类别中的细粒度人体活动识别性能表现。
• 识别影响每种表征类型成功或失败的关键因素，如轨迹速度、视角、遮挡和姿态复杂度。
• 评估基于姿态的特征是否能在真实、多样的视频场景中超越整体方法，而不仅限于受控基准测试。
• 确定结合两种表征是否能因各自互补的优势而获得更优性能。

提出的方法

• 使用MPI人体姿态数据集，该数据集包含410种人体活动的24,920个视频片段，包含丰富的标注信息，如人体姿态和视角。
• 采用密集轨迹（DT）作为整体表征，从密集时空轨迹中提取外观与运动特征。
• 使用真实标注（GT）和预测（PS）关节点位置来提取基于姿态的特征，包含与不包含时间跟踪（GT-T, PS-T）以及多姿态估计（PS-M）。
• 通过在分类前拼接DT与PS-M特征描述符，结合袋-词模型与SVM，实现特征融合。
• 应用一种过滤策略，基于姿态预测结果移除低置信度的DT轨迹，提升鲁棒性。
• 使用15个最大活动类别的平均平均精度（mAP）评估性能，并对成功与失败案例进行定性分析。

实验结果

研究问题

• RQ1 在多种细粒度人体活动中，整体特征与基于姿态的特征在性能上如何比较？
• RQ2 哪些因素——如轨迹速度、轨迹数量、视角或姿态复杂度——对每种表征的性能影响最大？
• RQ3 整体特征与基于姿态的特征在多大程度上具有互补性？其组合是否能带来更高的识别准确率？
• RQ4 在哪些活动类别中，基于姿态的特征优于整体特征，反之亦然？
• RQ5 遮挡与身体部位可见性如何影响姿态估计的可靠性及后续识别性能？

主要发现

• 整体方法（密集轨迹）平均mAP为19.0%，而基于姿态的方法（PS-M）为20.2%，但性能在不同活动中差异显著。
• 在‘瑜伽，力量’活动中，真实标注姿态特征优于DT（10.6% mAP）与PS-M（18.3% mAP），达到22.3% mAP，因其具有独特且稳定的姿态。
• PS-M与DT特征的组合（PS-M + DT）达到最高mAP 23.5%，充分证明了其互补性。
• 在‘赛车骑行’与‘高尔夫’等活动中，组合方法相比单一方法性能提升超过10个百分点。
• 基于姿态的方法对视角和姿态复杂度最敏感，而整体方法受轨迹速度与数量影响最大。
• 在‘木工，一般’与‘烹饪’活动中，所有方法表现均不佳（mAP < 10%），表明捕捉复杂多变动作仍具显著挑战。