[論文レビュー] STAGE: Spatio-Temporal Attention on Graph Entities for Video Action Detection.

Matteo Tomei, Lorenzo Baraldi+3 more|arXiv (Cornell University)|Dec 9, 2019

Human Pose and Action Recognition参考文献 31被引用数 6

ひとこと要約

本論文は、連続する動画クリップ間のエージェントとオブジェクト間の空間的・時間的相互作用を、グラフに基づく自己注意機構を用いてモデル化する、バックボーンに依存しない動画行動検出モジュールSTAGEを提案する。グラフ注意機構を用いて動的関係を学習することで、エンドツーエンド学習やマルチGPU同期を必要とせず、AVAデータセット上でベースライン比10-16%の相対的なmAP向上を達成する。

ABSTRACT

Spatio-temporal action localization is a challenging yet fascinating task that aims to detect and classify human actions in video clips. In this paper, we develop a high-level video understanding module which can encode interactions between actors and objects both in space and time. In our formulation, spatio-temporal relationships are learned by performing self-attention operations on a graph structure connecting entities from consecutive clips. Noticeably, the use of graph learning is unprecedented for this task. From a computational point of view, the proposed module is backbone independent by design and does not need end-to-end training. When tested on the AVA dataset, it demonstrates a 10-16% relative mAP improvement over the baseline. Further, it can outperform or bring performances comparable to state-of-the-art models which require heavy end-to-end and synchronized training on multiple GPUs. Code is publicly available at: this https URL.

研究の動機と目的

• 動画行動検出におけるエージェントとオブジェクト間の複雑な空間的・時間的相互作用をモデル化する課題に対処すること。
• 空間的・時間的両方の長距離依存関係を捉えられていない既存手法の限界を克服すること。
• 動画バックボーンアーキテクチャに依存しないモジュールを設計し、高コストなエンドツーエンド学習を回避すること。
• 最小限の学習オーバーヘッドと計算コストで最先端の性能を達成すること。
• 連続するクリップ間でのエンティティ相互作用のグラフ構造的モデリングを通じて、効果的な動画理解を実現すること。

提案手法

• 連続する動画クリップ間の検出エンティティ（エージェントとオブジェクト）を接続する動的グラフ構造を構築する。
• エンティティ間の空間的・時間的関係をモデル化するために、グラフ上での自己注意機構を適用する。
• 空間的・時間的両方の相互作用の重要度を動的に重みづけるため、グラフベースの注意機構を用いる。
• バックボーンに依存しないようにモジュールを設計し、プラグアンドプレイ統合を可能にする。
• バックボーンネットワークとは別にモジュールを学習し、エンドツーエンド最適化を回避する。
• 時間的連続性を活用して、隣接するクリップ間のエンティティを接続し、動きや相互作用の進化を捉える。

実験結果

リサーチクエスチョン

• RQ1 グラフベースの自己注意機構は、動画行動検出におけるエージェントとオブジェクト間の空間的・時間的相互作用を効果的にモデル化できるか？
• RQ2 エンドツーエンドで学習された最先端モデルと比較して、提案されたSTAGEモジュールは、精度と学習効率の面でどのように異なるか？
• RQ3 バックボーンに依存しないモジュールは、マルチGPU同期を要しない状況で、mAPをどの程度向上させられるか？
• RQ4 1フレーム単位の手法と比較して、連続するクリップ間での相互作用モデリングは、行動局所化性能を向上させるか？
• RQ5 グラフ構造上の注意機構は、従来のアプローチと比較して、動画行動における長距離依存関係をより効果的に捉えることができるか？

主な発見

• STAGEは、AVAデータセット上でベースライン比10-16%の相対的なmAP向上を達成する。
• 重いエンドツーエンド学習に依存する最先端モデルと同等またはそれ以上の性能を発揮する。
• エンドツーエンド学習やバックボーンアーキテクチャに依存しないため、計算コストが低い。
• グラフベースの注意機構は、エージェントとオブジェクト間の動的空間的・時間的関係を効果的に捉えることに成功した。
• 再トレーニングを必要とせず、さまざまな動画バックボーンと互換性があるため、汎用性が非常に高い。
• 性能向上の要因は、グラフ注意機構による時間的・空間的両方の相互作用の効果的なモデリングに起因する。