[論文レビュー] Leveraging Third-Order Features in Skeleton-Based Action Recognition.

Zhenyue Qin, Yang Liu+6 more|arXiv (Cornell University)|May 4, 2021

Human Pose and Action Recognition参考文献 14被引用数 6

ひとこと要約

本論文では、グラフニューラルネットワークを用いて、関節の角度関係を表す3次元の角度特徴をスケルトンベースの行動認識に統合することを提案する。1次元（関節）および2次元（ボーン）表現と統合することで、より少ないパラメータ数と低い推論時間で、NTU60およびNTU120で最先端の精度を達成する。

ABSTRACT

Skeleton sequences are light-weight and compact, and thus ideal candidates for action recognition on edge devices. Recent skeleton-based action recognition methods extract features from 3D joint coordinates as spatial-temporal cues, using these representations in a graph neural network for feature fusion, to boost recognition performance. The use of first- and second-order features, i.e., joint and bone representations has led to high accuracy, but many models are still confused by actions that have similar motion trajectories. To address these issues, we propose fusing third-order features in the form of angles into modern architectures, to robustly capture the relationships between joints and body parts. This simple fusion with popular spatial-temporal graph neural networks achieves new state-of-the-art accuracy in two large benchmarks, including NTU60 and NTU120, while employing fewer parameters and reduced run time. Our sourcecode is publicly available at: https://github.com/ZhenyueQin/Angular-Skeleton-Encoding.

研究の動機と目的

• 運動軌跡が類似する行動を認識する際、従来のスケルトンベースの行動認識モデルが抱える限界を解消すること。
• 身体関節間の高次元幾何的関係を捉えることで、認識のロバスト性を向上させること。
• 現代の空間時系列グラフニューラルネットワークアーキテクチャ内に、具体的には関節角度表現を含む3次元特徴を統合し、性能を向上させること。
• モデルの複雑さと推論時間を低減させつつ、最先端の精度を達成すること。

提案手法

• 本手法は、関節の3点の組み合わせから導出される角度特徴を、身体部の幾何的関係を表現するために導入する。
• これらの3次元角度特徴は、1次元（関節座標）および2次元（ボーンベクトル）表現と、統一された特徴空間に統合される。
• 統合された特徴は、時系列モデリングと行動分類のための空間時系列グラフニューラルネットワークを通過する。
• アーキテクチャは軽量に設計されており、エッジデバイスへの効率的なデプロイを可能にする。
• モデルは、ベンチマークデータセット上で標準的な交差エントロピー損失を用いてエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 3次元角度特徴は、スケルトンシーケンスにおける行動認識性能を向上させることができるか？
• RQ2 角度特徴を関節およびボーン表現と統合することで、モデルの精度と効率性にどのような影響を与えるか？
• RQ3 身体部間の幾何的関係を組み込むことで、運動軌跡が類似する行動同士の混同を低減できるか？
• RQ4 提案手法は、少ないパラメータ数と推論時間で最先端の結果を達成できるか？

主な発見

• 提案手法は、NTU60およびNTU120ベンチマークで、新たな最先端の精度を達成した。
• パラメータ数を減らしながらも、従来手法よりも高い精度を達成した。
• 既存のモデルと比較して推論時間が短縮され、エッジデプロイに適した特性を示した。
• 角度特徴の統合により、運動パターンが類似する行動の認識性能が顕著に向上した。