[论文解读] Learning discriminative trajectorylet detector sets for accurate skeleton-based action recognition

Ruizhi Qiao, Lingqiao Liu+2 more|arXiv (Cornell University)|Apr 20, 2015

Human Pose and Action Recognition参考文献 28被引用 4

一句话总结

该论文提出了一种基于骨架的动作识别新框架，采用轨迹let（trajectorylets）——一种捕捉短时间间隔内静态与动态运动的局部描述符——并结合通过原型SVM学习得到的判别性检测器集。该方法在MSR Action3D和MSR DailyActivity数据集上实现了最先进性能，在MSR Action3D数据集上使用L=5个轨迹let和学习得到的检测器集时达到95.9%的准确率，显著优于现有方法。

ABSTRACT

The introduction of low-cost RGB-D sensors has promoted the research in skeleton-based human action recognition. Devising a representation suitable for characterising actions on the basis of noisy skeleton sequences remains a challenge, however. We here provide two insights into this challenge. First, we show that the discriminative information of a skeleton sequence usually resides in a short temporal interval and we propose a simple-but-effective local descriptor called trajectorylet to capture the static and kinematic information within this interval. Second, we further propose to encode each trajectorylet with a discriminative trajectorylet detector set which is selected from a large number of candidate detectors trained through exemplar-SVMs. The action-level representation is obtained by pooling trajectorylet encodings. Evaluating on standard datasets acquired from the Kinect sensor, it is demonstrated that our method obtains superior results over existing approaches under various experimental setups.

研究动机与目标

• 解决从动作识别中噪声大、时序演化的骨架序列中提取判别性特征的挑战。
• 通过聚焦于短而信息丰富的时序区间，而非完整序列或单帧，提升动作识别性能。
• 通过学习一组针对关键轨迹let模式的专用检测器，构建鲁棒且判别性强的表示。
• 通过新颖的特征学习框架，在基于骨架的动作识别中超越现有的词袋特征方法。

提出的方法

• 引入轨迹let作为局部描述符，编码短时间间隔（L=3,5,7）内的静态姿态、相对关节位移、速度，以及可选的加速度。
• 应用原型SVM在正样本轨迹let上训练大量候选轨迹let检测器。
• 通过在训练轨迹let上评估性能并进行聚类，筛选出判别性检测器以去除冗余。
• 将选定检测器的检测分数作为每个轨迹let的编码向量，形成判别性特征表示。
• 对序列中所有轨迹let的编码向量进行池化，可选地使用时间金字塔池化以捕捉长程时序上下文。
• 采用标准的特征学习基线方法（VLAD、LLC、LSC）进行对比，使用K=128的词袋大小和κ=10的邻域大小。

实验结果

研究问题

• RQ1 能否通过捕捉短时间间隔内静态与动态运动的局部描述符提升基于骨架的动作识别性能？
• RQ2 从大量候选检测器池中学习一组判别性轨迹let检测器，是否能带来优于传统特征编码方法的行动表征？
• RQ3 轨迹let时间区间的长度如何影响识别性能？
• RQ4 轨迹let描述符的哪些组成部分（如姿态、位移、速度）对判别能力贡献最大？
• RQ5 所提出的检测器集框架是否能在不同动作数据集上良好泛化，并超越最先进特征学习技术？

主要发现

• 所提方法在MSR Action3D数据集上达到95.9%的准确率，显著优于先前最先进方法。
• 使用L=5的轨迹let时性能最佳，表明中等时序区间最适于捕捉判别性运动模式。
• 静态姿态（x₀）与动态分量（x₁, x₂）的组合表现最优，而加入加速度（x₃）未带来性能提升。
• 采用学习得到的检测器集框架在MSR DailyActivity数据集上达到75.0%的准确率，优于VLAD（51.9%）和LSC（66.9%）。
• 可视化结果表明，检测器集能识别出各类动作中的代表性运动模式，如击掌或挥手。
• 消融实验显示，仅使用动态分量（x₁或x₂）会导致性能下降，凸显结合静态与动态线索的必要性。