[論文レビュー] Hierarchically Decomposed Graph Convolutional Networks for Skeleton-Based Action Recognition

Jungho Lee, Minhyeok Lee+2 more|arXiv (Cornell University)|Aug 23, 2022

Human Pose and Action Recognition被引用数 12

ひとこと要約

本稿では、骨格ベースの行動認識のための階層的分解グラフ畳み込みネットワーク（HD-GCN）を提案する。新しい階層的分解グラフ（HD-Graph）を導入し、重心（CoM）から得られる意味的階層レベルに骨格関節を整理することで、隣接関節だけでなく構造的に遠く離れた関節間の関係を捉える。本手法は、顕著なエッジ集合を動的に強調する注意誘導型階層集約（A-HA）モジュールと、異なるCoMノードを用いた6方向のアンサンブルによる関節およびボーンストリームを採用し、モーションストリームを一切使用しないまま、4つのベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

Graph convolutional networks (GCNs) are the most commonly used methods for skeleton-based action recognition and have achieved remarkable performance. Generating adjacency matrices with semantically meaningful edges is particularly important for this task, but extracting such edges is challenging problem. To solve this, we propose a hierarchically decomposed graph convolutional network (HD-GCN) architecture with a novel hierarchically decomposed graph (HD-Graph). The proposed HD-GCN effectively decomposes every joint node into several sets to extract major structurally adjacent and distant edges, and uses them to construct an HD-Graph containing those edges in the same semantic spaces of a human skeleton. In addition, we introduce an attention-guided hierarchy aggregation (A-HA) module to highlight the dominant hierarchical edge sets of the HD-Graph. Furthermore, we apply a new six-way ensemble method, which uses only joint and bone stream without any motion stream. The proposed model is evaluated and achieves state-of-the-art performance on four large, popular datasets. Finally, we demonstrate the effectiveness of our model with various comparative experiments.

研究の動機と目的

• 構造的に遠く離れた関節間の意味的関係を捉えることで、骨格ベースの行動認識における長距離依存性問題を解決すること。
• 固定された手作業で設計されたグラフ（例：PCエッジのみ）の制限や、既存のGCNベース手法における最適でない特徴集約の問題を克服すること。
• 各行動サンプルに対して最も関連性の高い階層的エッジ集合を動的に強調する、適応的で柔軟なメカニズムを開発すること。
• モーションストリームへの依存を排除するとともに、手動によるアンサンブル係数の調整を避けるために、3つの異なるCoMノードを用いた関節およびボーンストリームのみの6方向アンサンブル戦略を設計すること。

提案手法

• 骨格関節を重心（CoM）ノードから出発して意味的階層レベルに整理することで、階層的分解グラフ（HD-Graph）を構築し、隣接するレベル間のノードを接続するエッジにより長距離依存性を捉える。
• CoMからの距離に基づいて階層ノード集合を定義し、同じレベルに属するノードが意味的グループを形成するようにすることで、遠く離れた関節間の関係を構造的に表現可能にする。
• 3次元点群処理手法にインspiredされた空間的エッジ畳み込み（S-EdgeConv）を適用し、HD-Graphが捉えられないが意味的に近い非隣接エッジをモデル化する。
• スケーリングバイアスを防ぐ代表的空間平均プーリング（RSAP）を備えた注意誘導型階層集約（A-HA）モジュールを導入し、特徴空間内のユークリッド距離を用いて主要な階層的特徴を同定する階層的エッジ畳み込み（H-EdgeConv）を実装する。
• 3つの異なるCoMノード（胸、お腹、股関節）を用いた関節およびボーンストリームの6方向アンサンブル戦略を実装し、手動による係数チューニングなしに各アセンブリが等価に寄与するように設計する。
• モーションストリームを完全に排除し、関節およびボーンモダリティストリームのみを用いることで、耐障害性を向上させるとともに複雑性を低減しつつ、高い性能を維持する。

実験結果

リサーチクエスチョン

• RQ1 骨格関節を意味的レベルに階層的に分解することで、行動認識のためのグラフ畳み込みネットワークにおける長距離依存性モデリングが向上するか？
• RQ2 動的な注意メカニズムは、異なる行動クラスに対して、最も識別的な階層的エッジ集合を効果的に特定し強調できるか？
• RQ3 複数の重心ノードを用いたアンサンブル戦略に依存し、モーションストリームを排除することで、性能はどの程度向上するか？
• RQ4 提案されたHD-Graphアーキテクチャは、固定された手作業で設計されたグラフや学習可能なグラフを上回り、人体骨格における局所的およびグローバルな構造的関係を効果的に捉えることができるか？

主な発見

• HD-GCNは、4つの大規模な骨格ベースの行動認識ベンチマークで最先端の性能を達成した。特に、NTU-RGB+D 120 X-Setスプリットでは97.2%の正確度、X-Subスプリットでは91.6%の正確度を記録した。
• 関節およびボーンストリームのみを用い、3つの異なるCoMノードを用いた6方向アンサンブルは、X-Subで93.4%、X-Setで97.2%の正確度を達成し、モーションストリームを含むモデルを上回った。
• 単一ストリーム実験では、NTU-RGB+D 120のX-SubおよびX-Setスプリットでそれぞれ85.7%および87.3%の正確度を達成し、DC-GCN、MS-G3D、CTR-GCN、InfoGCNといった先行最先端手法を上回った。
• アブレーションスタディの結果、異なるCoMノード（胸、お腹、股関節）はクラスごとに最大13%の性能差を示し、アンサンブルの多様性と相補性を裏付けた。
• HD-Graphアーキテクチャは、左右の四肢間のような遠く離れた関節間の関係を効果的にモデリングでき、クラップやスクワットといった行動において重要である。
• A-HAモジュールは、特徴空間内の距離と代表的ノードプーリングを活用することで、クラップにおける手対手の接続など、主要な階層的エッジ集合を的確に特定・強調した。