[論文レビュー] Spatio-Temporal Graph Convolution for Skeleton Based Action Recognition

Chaolong Li, Zhen Cui+3 more|arXiv (Cornell University)|Feb 27, 2018

Human Pose and Action Recognition参考文献 43被引用数 31

ひとこと要約

この論文は、局所的な畳み込みフィルタリングと再帰的系列学習を組み合わせたスパatio-temporalグラフ畳み込み（STGC）モデルを提案する。多スケールのグラフ畳み込みカーネルを隣接行列の多項式展開に基づいて用いることで、信号マッピングと組み合わせて動的運動と空間的構造を同時に捉え、NTU RGB+Dで86.28%のクロス・サブジェクト精度を達成し、4つのベンチマークデータセットで最先端の性能を発揮する。

ABSTRACT

Variations of human body skeletons may be considered as dynamic graphs, which are generic data representation for numerous real-world applications. In this paper, we propose a spatio-temporal graph convolution (STGC) approach for assembling the successes of local convolutional filtering and sequence learning ability of autoregressive moving average. To encode dynamic graphs, the constructed multi-scale local graph convolution filters, consisting of matrices of local receptive fields and signal mappings, are recursively performed on structured graph data of temporal and spatial domain. The proposed model is generic and principled as it can be generalized into other dynamic models. We theoretically prove the stability of STGC and provide an upper-bound of the signal transformation to be learnt. Further, the proposed recursive model can be stacked into a multi-layer architecture. To evaluate our model, we conduct extensive experiments on four benchmark skeleton-based action datasets, including the large-scale challenging NTU RGB+D. The experimental results demonstrate the effectiveness of our proposed model and the improvement over the state-of-the-art.

研究の動機と目的

• 深層学習を用いて不規則で動的変化するスケルトン構造を人間の行動認識でモデル化する課題に取り組む。
• 既存のグラフベースおよびRNNベースの手法の限界を乗り越えるために、局所的な畳み込みフィルタリングと再帰的学習を統合する。
• 理論的保証を備えた、安定的かつ汎用性の高い動的グラフ系列のための整合的で安定したモデルを開発する。
• クロス・サブジェクト一般化が依然として大きな課題である、NTU RGB+Dのような大規模で複雑なデータセットにおける性能を向上させる。

提案手法

• 隣接行列の多項式展開を用いて、局所的受容 field を定義する多スケールのグラフ畳み込みカーネルを設計する。
• 各受容 field 内の特徴を変換する信号マッピングを適用し、動的グラフ上の特徴学習を可能にする。
• 自己回帰移動平均（ARMA）にインspiredされたアーキテクチャを用いて、時空間フィルタリングを再帰的に統合する。
• 理論的分析を通じてモデルの安定性を保証し、信号変換の上界を提供する。
• 表現力の向上を図るため、STGCブロックを深く、多層構造にスタックする。
• 隠れ状態を時間的に処理する再帰的定式化を採用し、運動変化の符号化と空間的特徴抽出を統合する。

実験結果

リサーチクエスチョン

• RQ1 局所的な畳み込みフィルタリングと再帰的系列モデリングを統合する包括的なフレームワークは、動的スケルトングラフに対して効果的に機能するか？
• RQ2 同型グラフ構造に対して不変性を保ちつつ、多スケールの空間的・時系列的ダイナミクスを捉えるために、グラフ畳み込みカーネルをどのように設計できるか？
• RQ3 提案された再帰的グラフ畳み込みモデルの安定性および収束性について、どのような理論的保証を提供できるか？
• RQ4 提案されたSTGCモデルは、大規模で複雑なスケルトンベースの行動認識ベンチマークにおいて、既存の最先端手法をどの程度上回るか？

主な発見

• 提案されたSTGCモデルは、Florence 3Dデータセットで99.07%の精度を達成し、ほぼ完璧に近い性能に近づいた。
• 大規模なNTU RGB+Dデータセットでは、STGCが86.28%のクロス・サブジェクト精度を達成し、以前の最先端手法（GCA-LSTM）を3.48ポイント上回った。
• Florenceデータセットでは、グラフカーネルベースの手法を7%以上上回り、再帰的畳み込みアーキテクチャの優位性を示した。
• 2層スタックされたSTGC層を備えた深層アーキテクチャが、全4つのベンチマークデータセットで最良の性能を発揮し、階層的設計のスケーラビリティと有効性を確認した。
• ImageNetでの事前学習なしでも、スケルトンを画像に変換するCNNベースの手法を上回ったことから、スケルトンデータに対する優れたインダクティブバイアスを有することが示された。
• 信号のスケール間相互作用をモデル化するSTGC K (dep.)バージョンが、独立した信号バージョンをわずかに上回った。これは、スケール間特徴相互作用の利点を裏付けた。