[論文レビュー] Focusing and Diffusion: Bidirectional Attentive Graph Convolutional Networks for Skeleton-based Action Recognition

Jialin Gao, Tong He+2 more|arXiv (Cornell University)|Dec 24, 2019

Human Pose and Action Recognition参考文献 39被引用数 12

ひとこと要約

本稿では、フレーム内での意味的依存関係とフレーム間の時間的文脈を両方モデル化することで、骨格ベースの行動認識を向上させるために、双方向的注意グラフ畳み込みネットワーク（BAGCN）を提案する。焦点化と拡散メカニズムを備え、空間的・時間的文脈を双方向LSTMを介して学習可能な潜在トランスフォーマー・ノードが捉え、関節に再帰的に伝達する。BAGCNは、NTU RGB+DおよびSkeleton-Kineticsベンチマークで最先端の性能を達成し、クロスサブジェクトプロトコルでは89.4%、クロスビューでは96.3%の正確性を達成した。

ABSTRACT

A collection of approaches based on graph convolutional networks have proven success in skeleton-based action recognition by exploring neighborhood information and dense dependencies between intra-frame joints. However, these approaches usually ignore the spatial-temporal global context as well as the local relation between inter-frame and intra-frame. In this paper, we propose a focusing and diffusion mechanism to enhance graph convolutional networks by paying attention to the kinematic dependence of articulated human pose in a frame and their implicit dependencies over frames. In the focusing process, we introduce an attention module to learn a latent node over the intra-frame joints to convey spatial contextual information. In this way, the sparse connections between joints in a frame can be well captured, while the global context over the entire sequence is further captured by these hidden nodes with a bidirectional LSTM. In the diffusing process, the learned spatial-temporal contextual information is passed back to the spatial joints, leading to a bidirectional attentive graph convolutional network (BAGCN) that can facilitate skeleton-based action recognition. Extensive experiments on the challenging NTU RGB+D and Skeleton-Kinetics benchmarks demonstrate the efficacy of our approach.

研究の動機と目的

• フレーム内での非隣接関節間の暗黙の意味的接続、およびフレーム間の関節間の関係を捉えることに限界を示す既存のGCNの問題を解決すること。
• 固定または事前定義されたグラフ構造を超えて、人間の骨格時系列における長距離の空間的・時間的依存関係をモデル化すること。
• 文脈に配慮した双方向アテンションメカニズムを用いて、動的で行動固有の関節関係を学習することで、グラフ畳み込みネットワークを強化すること。
• 2段階の焦点化と拡散プロセスを通じて、グローバルな空間的・時間的文脈をノード表現に統合することで、行動認識の正確性を向上させること。

提案手法

• 焦点化グラフ（情報的なフレーム内接続を学習）と拡散グラフ（文脈情報を関節に再帰的に伝達）の2つの逆方向グラフを構築する。
• 各フレームごとに学習可能な潜在トランスフォーマー・ノードを導入し、関連する関節に動的に注目し、空間的文脈を符号化する。アテンション重みは学習可能な行列Wfによって計算される。
• 双方向LSTMを用いて、学習済みの潜在ノードの系列に基づき、時間的ダイナミクスをモデル化し、長距離の時間的依存関係を捉える。
• 2段階のメッセージパッシング機構を適用する：まず、潜在ノードを介して情報的な関節接続に焦点を当てる。次に、グローバルな文脈を空間ノードに再帰的に拡散させ、埋め込みを精緻化する。
• 焦点化と拡散メカニズムを標準的なGCNアーキテクチャに統合した双方向的注意GCN（BAGCN）を設計し、選択的アテンションと文脈に配慮した特徴学習を可能にする。
• 空間ブランチとモーションブランチのラテナル融合を用いて性能をさらに向上させ、空間ブランチが主な認識信号を提供する。

実験結果

リサーチクエスチョン

• RQ1 学習可能な潜在ノードは、物理的または事前定義されたグラフ接続を超えて、1フレーム内での暗黙的で行動固有の関節依存関係を効果的にモデル化できるか？
• RQ2 潜在空間ノードにLSTMを用いた双方向時間モデリングを組み込むことで、単方向または文脈モデリングなしのものと比較して、認識性能がどの程度向上するか？
• RQ3 焦点化と拡散メカニズムは、グローバルな空間的・時間的文脈をローカルなノード埋め込みに統合することで、特徴表現をどの程度向上させるか？
• RQ4 固定または学習可能なグラフトポロジーに依存する既存のGCNベースの手法と比較して、提案手法は骨格ベースの行動認識で優れた性能を示すか？

主な発見

• BAGCNはクロスサブジェクトプロトコルにおいてNTU-RGB+Dデータセットで89.4%の分類正確性を達成し、ベースラインのST-GCN（84.8%）およびアブレーションモデルを著しく上回った。
• 文脈に配慮したモジュールに双方向LSTMを組み込むことで、性能が著しく向上し、文脈なしの状態（86.6%）から完全に利用した状態（89.4%）に向上した。
• 空間ブランチとモーションブランチの融合により、クロスサブジェクトプロトコルで90.3%、クロスビューで96.3%の正確性に向上し、モーションと空間特徴の相補性を示した。
• 可視化の結果、学習された潜在ノードが行動固有の関節（例：『読書』の場合は手と頭）を活性化していることが確認され、モデルが意味的でタスク関連の依存関係を学習していることが裏付けられた。
• アブレーションスタディの結果、焦点化と拡散メカニズム、および時間的文脈に配慮したモジュールの両方が不可欠であることが判明し、いずれかを削除すると正確性が2%以上低下した。
• モデルは関節間でスパarsで動的な接続を効果的に学習しており、アテンション重みから、各行動ごとに関連する関節のみが活性化され、不要な関節からのノイズが低減されていることが示された。