[論文レビュー] Fusing Higher-order Features in Graph Neural Networks for Skeleton-based Action Recognition

Zhenyue Qin, Yang Liu+6 more|arXiv (Cornell University)|May 4, 2021

Human Pose and Action Recognition参考文献 31被引用数 6

ひとこと要約

本稿では、グラフニューラルネットワークにおけるスケルトンベースのアクション認識を向上させるために、高次特徴表現としての角度符号化を提案する。静的および速度ドメインにおける関節角度から得られる角度特徴を、既存のST-GCNおよびDecoupled GCNアーキテクチャに統合することで、NTU60およびNTU120で最先端の精度を達成し、パラメータ数を減らし、推論時間を短縮する。これにより、類似した運動軌跡を示すアクションの区別が著しく向上する。

ABSTRACT

Skeleton sequences are lightweight and compact, and thus are ideal candidates for action recognition on edge devices. Recent skeleton-based action recognition methods extract features from 3D joint coordinates as spatial-temporal cues, using these representations in a graph neural network for feature fusion to boost recognition performance. The use of first- and second-order features, i.e., joint and bone representations, has led to high accuracy. Nonetheless, many models are still confused by actions that have similar motion trajectories. To address these issues, we propose fusing higher-order features in the form of angular encoding into modern architectures to robustly capture the relationships between joints and body parts. This simple fusion with popular spatial-temporal graph neural networks achieves new state-of-the-art accuracy in two large benchmarks, including NTU60 and NTU120, while employing fewer parameters and reduced run time. Our source code is publicly available at: https://github.com/ZhenyueQin/Angular-Skeleton-Encoding.

研究の動機と目的

• スケルトンベースのアクション認識において、類似した運動軌跡を示すアクションを区別する課題に対処すること。
• 人体のサイズや運動速度の変動に対してモデルのロバスト性を向上させること。
• 一次および二次特徴を超える高次構造的関係を組み込むことで、グラフニューラルネットワークにおける特徴表現を強化すること。
• 角度特徴の効率的でパラメータが少ない統合により、エッジデバイス上でリアルタイムのアクション認識を可能にすること。

提案手法

• 関節の三つ組がなす角度から得られる、センター指向型、部品ベース型、指ベース型、速度ベース型の4種類の角度符号化を提案。
• 静的（関節座標）および速度（連続フレーム間の差分）ドメインの両方で角度特徴を定義し、動的運動パターンを捉える。
• 空間時系列GCNバックボーンに供給する前に、角度特徴を既存の関節およびボーン表現と連結することで統合。
• STGCNやDecoupled GCNといった標準アーキテクチャに適用し、アーキテクチャの大幅な見直しを伴わずにプラグアンドプレイ統合を実現。
• 階層的な空間時系列特徴を抽出するため、空間マルチスケールグラフ畳み込みと時間マルチスケール畳み込みを備えた3ブロックバックボーンを採用。
• 各角度をハイパーエッジとして扱うことでハイパーグラフに類似したモデリングを実施し、従来のGCNの能力を超えて三次の関係を捉える。

実験結果

リサーチクエスチョン

• RQ1 関節角度のような高次特徴は、スケルトンベースのアクション認識において、類似した運動軌跡を示すアクションの区別を向上させ得るか？
• RQ2 一次および二次特徴（関節およびボーン）と比較して、角度符号化は精度およびロバスト性の観点でどのように性能を発揮するか？
• RQ3 既存のGCNバックボーンに角度特徴を統合することで、異なるアーキテクチャおよびデータセットにおいて一貫した性能向上が得られるか？
• RQ4 角度符号化は静的および速度ドメインの両方で有効であるか？また、どちらのドメインがより大きな向上をもたらすか？
• RQ5 提案手法は、エッジデバイスへの展開に適した低計算コストを維持しながら、最先端の精度を達成できるか？

主な発見

• STGCNおよびDecoupled GCNモデルに角度符号化を統合することで、NTU60およびNTU120ベンチマークで新たな最先端の精度を達成。速度入力では平均1.42%、静的入力では0.58%の精度向上を達成。
• 部品ベース型角度符号化は、速度入力で1.47%の精度向上をもたらし、腕や脚を含む動的アクションにおいて強力な補完性を示す。
• センター指向型角度符号化は、すべてのバックボーンで最大の精度向上を達成し、グローバルなボディポーズダイナミクスを捉える有効性を示す。
• 本手法は、ShiftGCN、DecoupleGCN、MSG3Dという3つの多様なバックボーンにおいて一貫した性能向上を示し、優れた一般化能力を有することを裏付ける。
• 速度ドメインの特徴と角度符号化を組み合わせることで、静的ドメインの特徴よりも精度向上が顕著に見られ、特に「staple book」のような長時間継続するアクションで顕著。
• 先行する最先端モデルと比較して計算コストを低減し、エッジデバイスでのリアルタイム推論を可能にする。