[論文レビュー] Dynamic Hypergraph Convolutional Networks for Skeleton-Based Action Recognition

Jinfeng Wei, Yunxin Wang+4 more|arXiv (Cornell University)|Dec 20, 2021

Human Pose and Action Recognition被引用数 6

ひとこと要約

本論文は、学習可能な関節重みと自己適応的トポロジーを備えた動的ハイパーグラフを活用して、高次元の運動関係を捉えるために、骨格ベースの行動認識のための動的ハイパーグラフ畳み込みネットワーク（DHGCN）を提案する。本手法は、Kinetics-Skeleton 400、NTU RGB+D 60、NTU RGB+D 120で最先端の性能を達成し、関節・ボーン統合と動的構造適応によって特徴表現が向上することを示している。

ABSTRACT

Graph convolutional networks (GCNs) based methods have achieved advanced performance on skeleton-based action recognition task. However, the skeleton graph cannot fully represent the motion information contained in skeleton data. In addition, the topology of the skeleton graph in the GCN-based methods is manually set according to natural connections, and it is fixed for all samples, which cannot well adapt to different situations. In this work, we propose a novel dynamic hypergraph convolutional networks (DHGCN) for skeleton-based action recognition. DHGCN uses hypergraph to represent the skeleton structure to effectively exploit the motion information contained in human joints. Each joint in the skeleton hypergraph is dynamically assigned the corresponding weight according to its moving, and the hypergraph topology in our model can be dynamically adjusted to different samples according to the relationship between the joints. Experimental results demonstrate that the performance of our model achieves competitive performance on three datasets: Kinetics-Skeleton 400, NTU RGB+D 60, and NTU RGB+D 120.

研究の動機と目的

• 骨格データにおける人間関節間の複雑な高次元関係をモデル化する際、固定トポロジーのグラフ畳み込みネットワークの限界を解消すること。
• ハイパーグラフ構造を用いて、二関節間の接続を超えた運動ダイナミクスを捉えることで、行動認識性能を向上させること。
• 運動パターンに応じてハイパーグラフトポロジーや関節の重要度を動的に調整することにより、多様な行動カテゴリに適応可能なモデルを実現すること。
• 静的および動的ハイパーグラフコンポーネントを統合することで、骨格シーケンスにおける強固な空間的・時間的特徴抽出を実現すること。
• 手作業で設計された特徴や固定グラフ構造に依存することを減らし、データ依存のトポロジーと重みを学習することで、柔軟なモデル設計を実現すること。

提案手法

• 本手法は、ベースラインのトポロジーを提供する静的ハイパーグラフと、サンプル固有の適応を実現する動的ハイパーグラフから構成されるハイブリッドハイパーグラフ構造を用いて骨格データをモデル化する。
• 各関節の移動距離に基づいて動的関節重みを割り当て、特徴集約時により活動的な関節に重みを置く。
• K近傍法（K-NN）とK-meansクラスタリングを用いて、各サンプルごとに局所的およびグローバルな関節関係を捉える動的ハイパーグラフトポロジーを構築する。
• 静的および動的ハイパーグラフの組み合わせに基づくハイパーグラフ畳み込みにより空間特徴を抽出し、その後、時空間モデリングのために時系列畳み込みネットワーク（TCN）を適用する。
• 関節座標とボーンベクトルを統合する関節・ボーン統合フレームワークを導入し、表現力を向上させる。
• 複数のデータセットからの骨格シーケンスを用いて、クロスエントロピー損失を用いてエンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 骨格ベースの行動認識において、従来の固定トポロジーのグラフと比較して、動的ハイパーグラフ構造は関節間の高次元関係をより効果的に捉えることができるか？
• RQ2 運動活動に基づいて関節重みを動的に割り当てることで、特徴表現と認識精度はどのように向上するか？
• RQ3 K-NNとK-meansを用いた自己適応的ハイパーグラフトポロジー構築は、多様な行動カテゴリにわたるモデルの汎化性能をどの程度向上させるか？
• RQ4 静的および動的ハイパーグラフコンポーネントの統合は、静的または完全に動的なアプローチと比較して優れた性能を達成するか？
• RQ5 Kinetics-Skeleton 400、NTU RGB+D 60、NTU RGB+D 120といった大規模ベンチマークデータセットにおいて、提案されたDHGCNモデルは最先端の手法と比較してどのように性能を発揮するか？

主な発見

• NTU RGB+D 60データセットにおいて、DHGCNはTop-1精度86.0%、Top-5精度87.9%を達成し、X-Subスプリットで他の14の手法を上回った。
• NTU RGB+D 120データセットでは、比較手法の中で最高の性能を示し、大規模データに対する強力な汎化能力を示した。
• ノイズの多い骨格データに起因する課題にもかかわらず、Kinetics-Skeleton 400では競争力のある結果を達成し、Top-1精度とTop-5精度はそれぞれ86.0%および87.9%であった。
• アブレーションスタディの結果、動的関節重み付けと動的トポロジーの両方が性能向上に顕著に寄与しており、関節・ボーン統合によりさらに精度が向上した。
• X-Subベンチマークにおいて、注意メカニズムや有向非巡回グラフを用いたST-TRやDGNNと比較して、DHGCNは優れた性能を発揮した。
• 運動パターンに応じた自己適応的ハイパーグラフ構築メカニズムのおかげで、多様な行動における関節位置や角度の変動に対しても、モデルは頑健であることが示された。