[論文レビュー] G-TAD: Sub-Graph Localization for Temporal Action Detection

Mengmeng Xu, Chen Zhao+3 more|arXiv (Cornell University)|Nov 26, 2019

Human Pose and Action Recognition参考文献 56被引用数 28

ひとこと要約

G-TADは、動画グラフにおける部分グラフの局所化として時間的行動検出を定式化するGCNベースのフレームワークを提案する。スニペットをノード、相関関係をエッジ、文脈的サポートを持つ行動をターゲット部分グラフとする。動的意味的エッジとSGAlignを用いた新規GCNeXtブロックにより、部分グラフ埋め込みを実現し、SOTA性能を達成。ActivityNet-1.3では34.09% mAP、THUMOS14ではIoU@0.5で51.6% mAPを達成（提案処理を併用）。

ABSTRACT

Temporal action detection is a fundamental yet challenging task in video understanding. Video context is a critical cue to effectively detect actions, but current works mainly focus on temporal context, while neglecting semantic context as well as other important context properties. In this work, we propose a graph convolutional network (GCN) model to adaptively incorporate multi-level semantic context into video features and cast temporal action detection as a sub-graph localization problem. Specifically, we formulate video snippets as graph nodes, snippet-snippet correlations as edges, and actions associated with context as target sub-graphs. With graph convolution as the basic operation, we design a GCN block called GCNeXt, which learns the features of each node by aggregating its context and dynamically updates the edges in the graph. To localize each sub-graph, we also design an SGAlign layer to embed each sub-graph into the Euclidean space. Extensive experiments show that G-TAD is capable of finding effective video context without extra supervision and achieves state-of-the-art performance on two detection benchmarks. On ActivityNet-1.3, it obtains an average mAP of 34.09%; on THUMOS14, it reaches 51.6% at IoU@0.5 when combined with a proposal processing method. G-TAD code is publicly available at https://github.com/frostinassiky/gtad.

研究の動機と目的

• 現在の手法が時間的文脈に依存するという限界を克服し、動画理解においてより豊富で適応的な意味的文脈を統合すること。
• 動画の文脈を時間的要因に加え、意味的要因としてもモデル化し、内容に関連する非即時近接ノードに基づく行動検出を可能にすること。
• 行動検出を動的動画グラフにおける部分グラフの局所化として統一的に扱うフレームワークを構築し、検出のロバスト性と正確性を向上させること。
• トレーニング中に進化するグラフ畳み込みを用いて、文脈に配慮した特徴量学習を可能にし、長距離および意味的に関連するスニペットを捉えること。
• 学習された意味的エッジが人間によるアノテーションの文脈量と強く相関することを実証し、モデルが意味のある文脈を発見できることを検証すること。

提案手法

• スニペットをノード、連続するスニペット間の時間的エッジ、特徴量類似度に基づく可学習意味的エッジを有するグラフとして動画を定式化する。
• ResNeXtをインspiredとしたGCNeXtを設計し、動的エッジ更新を伴うスタックされたグラフ畳み込みにより、多段階の文脈を集約する。
• 各候補行動部分グラフを固定サイズのユークリッド表現に埋め込むための部分グラフアライメント層SGAlignを導入する。
• faster R-CNNに類似した二段階パイプラインを採用：GCNeXtによる文脈に配慮した特徴量学習の後、SGAlignによる部分グラフ表現と検出を実行する。
• 部分グラフ予測におけるクロスエントロピー損失を用いて、エンド・トゥ・エンドでモデルを訓練し、最適化中にグラフ構造が進化可能にする。
• 時間的エッジと可学習意味的エッジを併用することで、動画グラフ全体にわたり、長距離かつコンテンツ適応的な文脈伝搬を実現する。

実験結果

リサーチクエスチョン

• RQ1 特徴量から意味的エッジを学習するグラフベースのアプローチが、時間的文脈のみに依存するモデルを上回る性能を示せるか？
• RQ2 追加の教師信号なしに、動的グラフ畳み込みネットワークが多段階の意味的文脈をどれほど適応的に学習できるか？
• RQ3 学習された意味的グラフが、人間によるアノテーションの動画文脈量とどれほど相関するか？
• RQ4 SGAlignによる部分グラフ局所化パラダイムは、標準の回帰または分類ヘッドと比較して検出精度を向上させるか？
• RQ5 行動が時間的に離れていても、コンテンツ適応的文脈を学習することで、多様な動画コンテンツに一般化可能か？

主な発見

• G-TADは、追加データや後処理なしにActivityNet-1.3で34.09% mAPを達成し、新たなSOTA性能を樹立した。
• THUMOS14では、提案処理手法と組み合わせることで、IoU@0.5で51.6% mAPを達成し、優れた一般化性能を示した。
• 行動スニペットとバックグラウンドスニペット間の意味的エッジは適応的に学習され、人間によるアノテーションの文脈量と強く相関（散乱図でR² > 0.8）。
• 可視化により、トレーニング中に意味的グラフが進化し、深層部でより多くの文脈エッジが出現していることが示され、段階的な文脈統合が行われていることが明らかになった。
• アブレーションスタディにより、GCNeXtとSGAlignの両方が不可欠であることが確認された：意味的エッジやアライメント層を除去すると、性能が著しく低下した。
• 行動が文脈スニペットと時間的に隣接していない場合でも、正確に局所化できており、時間的近接性ではなく意味的近接性を効果的に活用していることが実証された。