[论文解读] Leveraging Third-Order Features in Skeleton-Based Action Recognition.

Zhenyue Qin, Yang Liu+6 more|arXiv (Cornell University)|May 4, 2021

Human Pose and Action Recognition参考文献 14被引用 6

一句话总结

该论文提出将三阶角度特征——表示关节间角度关系的特征——融入基于骨架的动作识别中，采用图神经网络进行建模。通过将这些几何特征与现有的第一阶和第二阶表征（关节与骨骼）融合，该方法在NTU60和NTU120数据集上实现了最先进（SOTA）的准确率，同时参数量更少、推理时间更短。

ABSTRACT

Skeleton sequences are light-weight and compact, and thus ideal candidates for action recognition on edge devices. Recent skeleton-based action recognition methods extract features from 3D joint coordinates as spatial-temporal cues, using these representations in a graph neural network for feature fusion, to boost recognition performance. The use of first- and second-order features, i.e., joint and bone representations has led to high accuracy, but many models are still confused by actions that have similar motion trajectories. To address these issues, we propose fusing third-order features in the form of angles into modern architectures, to robustly capture the relationships between joints and body parts. This simple fusion with popular spatial-temporal graph neural networks achieves new state-of-the-art accuracy in two large benchmarks, including NTU60 and NTU120, while employing fewer parameters and reduced run time. Our sourcecode is publicly available at: https://github.com/ZhenyueQin/Angular-Skeleton-Encoding.

研究动机与目标

• 解决现有基于骨架的动作识别模型在处理运动轨迹相似的动作时表现不佳的问题。
• 通过捕捉身体关节之间的高阶几何关系，提升模型的识别鲁棒性。
• 在现代时空图神经网络架构中引入三阶特征——特别是关节角度表征——以提升性能。
• 在保持低参数量和低推理时间的前提下，实现最先进（SOTA）的准确率。

提出的方法

• 该方法通过关节三元组提取角度特征，以表征身体部位之间的几何关系。
• 将这些三阶角度特征与一阶（关节坐标）和二阶（骨骼向量）表征在统一特征空间中进行融合。
• 将融合后的特征输入时空图神经网络，以实现时序建模与动作分类。
• 该架构设计轻量化，适用于边缘设备的高效部署。
• 在基准数据集上使用标准交叉熵损失进行端到端训练。

实验结果

研究问题

• RQ1 三阶角度特征是否能够提升骨架序列上的动作识别性能？
• RQ2 将角度特征与关节及骨骼表征融合后，对模型准确率和效率有何影响？
• RQ3 在身体部位之间引入几何关系是否能减少因运动轨迹相似而引起的动作混淆？
• RQ4 所提方法是否能在保持低参数量和低推理时间的前提下实现最先进（SOTA）性能？

主要发现

• 所提方法在NTU60和NTU120基准测试中达到了新的最先进（SOTA）准确率。
• 该模型在参数量更少的情况下，准确率仍优于先前方法。
• 相比现有模型，推理时间更短，更适合边缘设备部署。
• 引入角度特征显著提升了对运动模式相似动作的识别性能。