[論文レビュー] Dynamic GCN: Context-enriched Topology Learning for Skeleton-based Action Recognition

Fanfan Ye, Shiliang Pu+4 more|arXiv (Cornell University)|Jul 29, 2020

Human Pose and Action Recognition参考文献 34被引用数 24

ひとこと要約

本稿では、軽量なコンテキスト符号化ネットワーク（CeN）を用いて、文脈を反映した動的で柔軟なスケルトントポロジーを学習する、新しいグラフ畳み込みネットワーク（Dynamic GCN）を提案する。CeNは全関節のグローバルな依存関係を捉え、方向付きでサンプル固有のグラフを生成することで、従来手法と比較して2–4倍のFLOPs削減を達成しながら、NTU-RGB+D、NTU-RGB+D 120、Skeleton-Kineticsの各データセットで最先端の性能を達成した。

ABSTRACT

Graph Convolutional Networks (GCNs) have attracted increasing interests for the task of skeleton-based action recognition. The key lies in the design of the graph structure, which encodes skeleton topology information. In this paper, we propose Dynamic GCN, in which a novel convolutional neural network named Contextencoding Network (CeN) is introduced to learn skeleton topology automatically. In particular, when learning the dependency between two joints, contextual features from the rest joints are incorporated in a global manner. CeN is extremely lightweight yet effective, and can be embedded into a graph convolutional layer. By stacking multiple CeN-enabled graph convolutional layers, we build Dynamic GCN. Notably, as a merit of CeN, dynamic graph topologies are constructed for different input samples as well as graph convolutional layers of various depths. Besides, three alternative context modeling architectures are well explored, which may serve as a guideline for future research on graph topology learning. CeN brings only ~7% extra FLOPs for the baseline model, and Dynamic GCN achieves better performance with $2 imes$~$4 imes$ fewer FLOPs than existing methods. By further combining static physical body connections and motion modalities, we achieve state-of-the-art performance on three large-scale benchmarks, namely NTU-RGB+D, NTU-RGB+D 120 and Skeleton-Kinetics.

研究の動機と目的

• スケルトンベースの行動認識におけるGCNにおける固定・静的グラフトポロジーの限界を是正すること。
• 局所的なペアワイズ依存関係ではなく、全関節からのグローバルな文脈的特徴を組み込むことで、トポロジー学習を向上させること。
• 方向付きでサンプル固有のグラフを生成できる、軽量でエンドツーエンドで微分可能なモジュールを構築すること。
• 従来手法と比較して計算コストを低減しながら、認識精度を維持または向上させること。
• 手作業で設計されたまたは非局所ベースの類似度尺度に依存する従来手法の代替として、柔軟でデータ駆動型の代替案を提供すること。

提案手法

• 全関節からのグローバルな文脈を用いて関節間の依存関係を計算する、軽量なCNNモジュールであるコンテキスト符号化ネットワーク（CeN）を導入する。
• CeNは文脈特徴を統合することで非対称（方向付き）の隣接行列を生成し、動的でサンプル固有のグラフトポロジーを可能にする。
• CeNモジュールは各グラフ畳み込み層に埋め込まれ、複数のネットワーク深さで動的トポロジー学習を可能にする。
• 静的物理的ボディ接続と動的に学習されたトポロジーを組み合わせることで、特徴表現を強化する。
• この手法はエンドツーエンドで微分可能であり、最小限の計算オーバーヘッド（約7%の追加FLOPs）でGCNベースのモデルにスムーズに統合可能である。
• 将来のトポロジー学習に関する研究を促進するため、3つの代替的な文脈モデリングアーキテクチャを検討した。

実験結果

リサーチクエスチョン

• RQ1 全関節からのグローバルな文脈的特徴は、行動認識における学習されたスケルトングラフトポロジーの質を向上させることができるか？
• RQ2 グローバルな文脈を無視する非局所ベースの手法と比較して、データ駆動型で文脈を反映したトポロジー学習アプローチは、優れた性能を示すか？
• RQ3 軽量で学習可能なモジュールは、個々のサンプルおよびネットワーク層に適応する動的で方向付きのグラフを生成できるか？
• RQ4 静的物理的接続と学習されたトポロジーを統合することで、性能と効率性が向上するか？
• RQ5 このアプローチは、従来手法と比較して顕著にFLOPsを削減しつつ、最先端の結果を達成できるか？

主な発見

• NTU-RGB+DのC-Subject設定では91.5%のトップ-1精度を達成し、従来手法を上回った。C-View設定では96.0%のトップ-1精度を記録した。
• NTU-RGB+D 120では、C-Subject設定で87.3%、C-Setup設定で88.6%のトップ-1精度を達成し、ベースラインおよびMS-G3D Netを大きく上回った。
• Skeleton-Kineticsでは、トップ-1精度37.9%、トップ-5精度61.3%を達成し、新たな最先端性能を樹立した。
• ベースライン比で約7%の追加FLOPsしか導入しなかったが、従来手法と比較して2–4倍のFLOPs削減を達成した。
• 可視化により、学習されたトポロジーが静的グラフでは捉えられない非物理的だが有用な関節依存関係を捉えていることが確認された。
• アブレーションスタディの結果、CeNのグローバル文脈モデリングと方向付きグラフ学習が、非局所および静的GCNベースラインと比較して性能を顕著に向上させた。