[论文解读] Mining Mid-level Features for Action Recognition Based on Effective Skeleton Representation

Pichao Wang, Wanqing Li+3 more|arXiv (Cornell University)|Sep 14, 2014

Human Pose and Action Recognition参考文献 23被引用 11

一句话总结

本文提出了一种新颖的方法，通过从Kinect获取的骨骼数据中挖掘中级特征，实现3D人体动作识别。该方法将肢体方向建模为离散的空间状态，将其分组为身体部位，并利用频繁模式挖掘识别出具有区分性、代表性且非冗余的‘频繁局部部件’（Frequent Local Parts, FLPs）。这些FLPs随后被用于构建强大的词袋-FLP表示方法，在MSR DailyActivity3D和MSR ActionPairs3D数据集上实现了最先进性能。

ABSTRACT

Recently, mid-level features have shown promising performance in computer vision. Mid-level features learned by incorporating class-level information are potentially more discriminative than traditional low-level local features. In this paper, an effective method is proposed to extract mid-level features from Kinect skeletons for 3D human action recognition. Firstly, the orientations of limbs connected by two skeleton joints are computed and each orientation is encoded into one of the 27 states indicating the spatial relationship of the joints. Secondly, limbs are combined into parts and the limb's states are mapped into part states. Finally, frequent pattern mining is employed to mine the most frequent and relevant (discriminative, representative and non-redundant) states of parts in continuous several frames. These parts are referred to as Frequent Local Parts or FLPs. The FLPs allow us to build powerful bag-of-FLP-based action representation. This new representation yields state-of-the-art results on MSR DailyActivity3D and MSR ActionPairs3D.

研究动机与目标

• 通过利用捕捉骨骼数据中区分性空间与时间模式的中级特征，提升3D人体动作识别性能。
• 通过部件级表示引入类别级信息，以克服低级局部特征的局限性。
• 通过在连续视频帧中对骨骼部件状态进行频繁模式挖掘，构建鲁棒且具有区分性的动作表示。
• 通过有效的基于骨骼的特征学习框架，在基准3D动作识别数据集上实现最先进性能。

提出的方法

• 将连接骨骼关节之间的肢体方向编码为27种离散空间状态，以表示相对关节位置。
• 将单个肢体分组为身体部位，并将其方向状态聚合为部件状态，形成更高级别的表示。
• 在连续帧上应用频繁模式挖掘，识别出最频繁、最具代表性且非冗余的部件状态，称为频繁局部部件（FLPs）。
• 通过统计视频序列中FLPs的出现次数，构建词袋-FLP表示，形成紧凑且具有区分性的动作描述符。
• 利用骨骼序列中的时间连续性，通过稳定的部件配置捕捉动态运动模式。
• 在词袋-FLP特征上使用标准分类技术完成最终的动作识别。

实验结果

研究问题

• RQ1 从骨骼数据中提取的中级特征是否能够超越传统低级特征，在3D人体动作识别中实现性能提升？
• RQ2 如何有效编码骨骼关节之间的空间关系，以捕捉有意义的身体部位配置？
• RQ3 在骨骼序列中识别具有区分性与代表性模式的最优方法是什么？
• RQ4 在部件状态上应用频繁模式挖掘是否能生成紧凑且强大的表示用于动作分类？

主要发现

• 所提出的词袋-FLP表示在MSR DailyActivity3D数据集上实现了最先进性能。
• 该方法在MSR ActionPairs3D数据集上优于现有方法，展现出更强的区分能力。
• 与仅使用低级局部特征相比，使用中级特征显著提升了识别准确率。
• FLP挖掘过程有效捕捉了多种动作类别中非冗余且具代表性的运动模式。