[論文レビュー] Centrality Graph Convolutional Networks for Skeleton-based Action Recognition

Dong Yang, Monica Mengqi Li+3 more|arXiv (Cornell University)|Mar 6, 2020

Human Pose and Action Recognition参考文献 57被引用数 14

ひとこと要約

本論文は、関節の中心性を用いてトポロジカル構造をモデル化することで、キーパートを特定し、骨格ベースの行動認識を向上させるための中心性グラフ畳み込みネットワーク（CGCN）を提案する。4チャネルフレームワークにおいて、中心性に配慮したグラフ畳み込みと適応的グラフ学習を統合することで、NTU RGB+DおよびKineticsデータセットで最先端の性能を達成した。

ABSTRACT

The topological structure of skeleton data plays a significant role in human action recognition. Combining the topological structure with graph convolutional networks has achieved remarkable performance. In existing methods, modeling the topological structure of skeleton data only considered the connections between the joints and bones, and directly use physical information. However, there exists an unknown problem to investigate the key joints, bones and body parts in every human action. In this paper, we propose the centrality graph convolutional networks to uncover the overlooked topological information, and best take advantage of the information to distinguish key joints, bones, and body parts. A novel centrality graph convolutional network firstly highlights the effects of the key joints and bones to bring a definite improvement. Besides, the topological information of the skeleton sequence is explored and combined to further enhance the performance in a four-channel framework. Moreover, the reconstructed graph is implemented by the adaptive methods on the training process, which further yields improvements. Our model is validated by two large-scale datasets, NTU-RGB+D and Kinetics, and outperforms the state-of-the-art methods.

研究の動機と目的

• 既存手法が人間の骨格における重要な構造的要素を特定せずにすべての関節や骨を同等に扱うという限界を解決すること。
• 行動表現における関節や骨の中心性に注目することで、骨格シーケンスに隠れたトポロジカル情報を解き明かすこと。
• トレーニング中に中心性に配慮したグラフ畳み込みと適応的グラフ学習を統合することで、行動認識の性能を向上させること。
• 空間的・時間的および中心性強化特徴を統合した、耐障害性の高い行動分類を実現する4チャネルフレームワークを設計すること。
• 大規模なベンチマークデータセット上で提案手法の有効性を検証し、最先端の結果を達成すること。

提案手法

• ノードの中心性スコアを計算することで、骨格グラフにおけるキーパート（関節や骨）を強調する中心性グラフ畳み込みネットワークを提案する。
• ノードおよびエッジの中心性に基づいて特徴を重みづけする、新しいグラフ畳み込みメカニズムを導入し、重要な身体部位の寄与度を高める。
• 時間的ダイナミクスを統合し、元の特徴、中心性重み付き特徴、再構築されたグラフ特徴を融合する4チャネルフレームワークを採用して表現を向上させる。
• トレーニング中に適応的グラフ学習を適用し、学習された構造的重要性に基づいて骨格トポロジを動的に再構築することで、進化する構造的関係を捉える。
• 学習可能なパラメータを有するグラフ畳み込みネットワーク（GCNs）を用いて骨格シーケンスを処理し、トポロジカル構造を保持する。
• 物理的関節接続を初期グラフトポロジとして用い、その後中心性と適応的学習を用いてそれを精錬することで、より高い性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 骨格グラフにおける中心性指標は、行動認識におけるキーパート（関節や骨）の特定をどのように向上させるか？
• RQ2 標準的なGCNベースの手法と比較して、トポロジカル中心性を統合することで性能はどの程度向上するか？
• RQ3 トレーニング中に適応的グラフ再構築を実施することで、複雑な骨格シーケンスにおける認識精度はさらに向上するか？
• RQ4 中心性に配慮した特徴を有する本手法の4チャネルフレームワークは、大規模データセット上での既存の最先端モデルと比較してどのように差をつけるか？

主な発見

• 提案されたCGCNモデルは、NTU RGB+Dデータセットで最先端の性能を達成し、既存手法を上回る行動認識精度を示した。
• 中心性に配慮したグラフ畳み込みを組み込むことで、行動分類の過程でキーパート（関節や骨）を明確に識別できるようになり、顕著な改善が得られた。
• 元の特徴、中心性重み付き特徴、再構築されたグラフ特徴を統合した4チャネルフレームワークは、モデルの耐障害性と精度を顕著に向上させた。
• トレーニング中に適応的グラフ学習を適用することで、学習された構造的重要性に基づいて骨格トポロジを動的に精錬し、性能がさらに向上した。
• Kineticsデータセットにおいても強力な一般化性能を示し、単一データセット最適化を超えた有効性を確認した。
• アブレーションスタディにより、中心性モデリングと適応的グラフ再構築が全体の性能向上の主な要因であることが確認された。