[論文レビュー] Two-person Graph Convolutional Network for Skeleton-based Human Interaction Recognition

Zhengcen Li, Yueran Li+3 more|arXiv (Cornell University)|Aug 12, 2022

Human Pose and Action Recognition被引用数 4

ひとこと要約

本稿では、2人の人物のスケルトンを1つの統合的グラフ構造に統合することで、身体内および身体間の関係を捉える、2人用グラフ畳み込みネットワーク（2P-GCN）を提案する。新規のエッジラベル付け戦略と2人用グラフ畳み込みブロックを導入することで、4つのベンチマークで最先端の性能を達成し、NTU-120-Interactionでは最大3.08%の精度向上を達成した。パラメータ数は1.47M、FLOPsは3.74Gにとどまる。

ABSTRACT

Graph convolutional networks (GCNs) have been the predominant methods in skeleton-based human action recognition, including human-human interaction recognition. However, when dealing with interaction sequences, current GCN-based methods simply split the two-person skeleton into two discrete graphs and perform graph convolution separately as done for single-person action classification. Such operations ignore rich interactive information and hinder effective spatial inter-body relationship modeling. To overcome the above shortcoming, we introduce a novel unified two-person graph to represent inter-body and intra-body correlations between joints. Experiments show accuracy improvements in recognizing both interactions and individual actions when utilizing the proposed two-person graph topology. In addition, We design several graph labeling strategies to supervise the model to learn discriminant spatial-temporal interactive features. Finally, we propose a two-person graph convolutional network (2P-GCN). Our model achieves state-of-the-art results on four benchmarks of three interaction datasets: SBU, interaction subsets of NTU-RGB+D and NTU-RGB+D 120.

研究の動機と目的

• 既存のGCNベースの手法が2人用相互作用を独立した1人用グラフとして扱うため、重要な相互作用情報が失われるという制限に対処すること。
• 2人の人物の両方の身体内関節接続と、2人間の関係を同時に符号化する統合的2人用グラフトポロジーを設計すること。
• モデルが判別性の高い空間的・時系列的相互作用特徴を学習できるようにするためのグラフラベル付け戦略を開発すること。
• 1回のグラフ畳み込み演算内で効果的な特徴抽出が可能な2人用グラフ畳み込みブロック（2P-GCB）を提案すること。
• スケルトンベースの人体相互作用認識のための複数のベンチマークデータセットで最先端の性能を達成すること。

提案手法

• 本稿では、1フレームの相互作用を2N関節（1人あたりN個）を有する1つのグラフとして表現する2人用グラフを導入し、身体内および身体間の接続を統合的にモデル化する。
• 物理的スケルトン接続（身体内）と人物間接続（身体間）を符号化する関係性アドセンシー行列を構築し、エッジ重みは相関強度を反映する。
• 空間的・時系列的相互作用特徴を意味的に学習できるように支援するためのグラフエッジラベル付け戦略を設計し、表現の判別性を向上させる。
• 統合的2人用グラフ上でグラフ畳み込みを実行する2人用グラフ畳み込みブロック（2P-GCB）を開発し、層間をまたいで相互作用に配慮した特徴を保持する。
• 2P-GCNモデルは複数のGCNアーキテクチャで評価され、さまざまなバックボーンに対して一貫した精度向上を示した。
• 本手法はスケーラブルかつ汎用的であり、多人数や人-オブジェクト相互作用のシナリオへの応用も可能である。

実験結果

リサーチクエスチョン

• RQ1 統合的2人用グラフ表現は、スケルトンベースの人体相互作用認識における身体内および身体間関係のモデリングを改善できるか？
• RQ2 グラフラベル付け戦略は、相互作用認識のための判別性の高い空間的・時系列的特徴を学習する能力にどのように影響するか？
• RQ3 独立した1人用グラフから統合的2人用グラフに置き換えることで、異なるGCNアーキテクチャにおいて一貫した性能向上が得られるか？
• RQ4 提案された2P-GCNは、標準的な相互作用認識ベンチマークで最先端の手法をどの程度上回るか？
• RQ5 2人用グラフ表現は、単一人物の行動認識タスクにおいても性能向上をもたらすか？

主な発見

• 2P-GCNは4つのベンチマークで最先端の精度を達成し、NTU-InteractionのX-Subでは97.05%、X-Viewでは98.80%の精度を記録。2S-AIGCNをそれぞれ1.71%、0.80%上回った。
• NTU120-Interactionでは、X-Sub120で93.47%、X-Set120で93.73%の精度を達成し、2S-AIGCNを2.76%、3.08%上回った。
• SBUデータセットでは98.90%の精度を達成し、以前の最先端手法（AIGCN）を0.20%、DR-GCNを0.14%上回った。
• より豊富な相互作用特徴をモデル化しているにもかかわらず、2P-GCNはわずか1.47Mのパラメータと3.74GのFLOPsで低複雑性を維持しており、多くの最先端モデルよりも顕著に低い。
• 2人用グラフ表現は相互作用タスクにとどまらず、単一人物の行動認識タスクにおいても性能向上をもたらし、より広範な有用性を示した。
• アブレーションスタディにより、提案された2人用グラフトポロジーが、テストされたすべてのGCNモデルで一貫して精度を向上させることを確認し、その有効性と汎用性を裏付けた。