[論文レビュー] Actor-Context-Actor Relation Network for Spatio-Temporal Action Localization

Junting Pan, Siyu Chen+4 more|arXiv (Cornell University)|Jun 14, 2020

Human Pose and Action Recognition参考文献 61被引用数 11

ひとこと要約

本稿では、アクターと文脈の共有インタラクションを通じてアクター間の間接的つながりを推論することにより、時空間的アクションローカライゼーションにおける高次関係をモデル化する、新しいアクター・コンテキスト・アクター関係ネットワーク（ACAR-Net）を提案する。高次関係推論演算子とアクター・コンテキスト特徴バンクを導入することで、最先端の性能を達成し、AVA-Kinetics 2020チャレンジで前人最高の+6.71 mAPの向上を達成した。

ABSTRACT

Localizing persons and recognizing their actions from videos is a challenging task towards high-level video understanding. Recent advances have been achieved by modeling direct pairwise relations between entities. In this paper, we take one step further, not only model direct relations between pairs but also take into account indirect higher-order relations established upon multiple elements. We propose to explicitly model the Actor-Context-Actor Relation, which is the relation between two actors based on their interactions with the context. To this end, we design an Actor-Context-Actor Relation Network (ACAR-Net) which builds upon a novel High-order Relation Reasoning Operator and an Actor-Context Feature Bank to enable indirect relation reasoning for spatio-temporal action localization. Experiments on AVA and UCF101-24 datasets show the advantages of modeling actor-context-actor relations, and visualization of attention maps further verifies that our model is capable of finding relevant higher-order relations to support action detection. Notably, our method ranks first in the AVA-Kineticsaction localization task of ActivityNet Challenge 2020, out-performing other entries by a significant margin (+6.71mAP). Training code and models will be available at https://github.com/Siyu-C/ACAR-Net.

研究の動機と目的

• 時空間的アクションローカライゼーションにおけるペairワイズ関係モデリングの限界を是正すること。これは、しばしば重要な高次的文脈的手がかりを逃すことがある。
• 直接のアクター間関係やアクターとオブジェクトの関係に依存するのではなく、周囲の文脈との共有インタラクションに基づいて、アクター間の間接的関係を明示的にモデル化すること。
• 事前学習済みオブジェクト検出器や事前に定義されたオブジェクトカテゴリに依存しない、柔軟でエンドツーエンドで学習可能なフレームワークを開発すること。
• 複数のアクターおよび時空間的位置にわたる微細な文脈依存関係を捉えることで、アクションローカライゼーションの精度を向上させること。

提案手法

• 本手法は、アクター間の2次関係を、それらの共有コンテキストインタラクションを通じてモデル化するアクター・コンテキスト・アクター関係ネットワーク（ACAR-Net）を導入する。
• 1次関係特徴マップに対して完全に畳み込み的に作用する高次関係推論演算子を採用し、空間的レイアウトを保持するとともに、グローバルな文脈推論を可能にする。
• アクター・コンテキスト特徴バンクは、複数の時間ステップにわたるアクター・コンテキスト関係を格納・集約し、間接的関係の時間的モデリングを可能にする。
• コンテキスト特徴は、スローファストバックボーンの時空間グリッド特徴マップから直接得られ、外部のオブジェクト検出器に依存しなくなる。
• ネットワークは、RoIからプーリングされたアクター特徴と、バックボーン特徴マップからのコンテキスト特徴を処理し、共有コンテキストを通じて注意重み付き関係を計算する。
• 全フレームワークはエンドツーエンドで学習可能であり、追加の検出ヘッドやカテゴリ特化の監視を必要とせず、事前学習済みの動画バックボーン上に構築される。

実験結果

リサーチクエスチョン

• RQ1 共有コンテキストインタラクションを通じて、ペアワイズ関係モデリングを超えて、間接的で高次的な関係をモデル化することで、時空間的アクションローカライゼーションの性能が向上するか？
• RQ2 事前学習済みオブジェクト検出器が存在しない場合、アクションローカライゼーションにおけるコンテキスト表現のロバスト性と一般化性能にどのような影響を与えるか？
• RQ3 アクター間の暗黙的でコンテキスト媒介関係が、『乗る』や『渡す』といった複数エージェント間インタラクションに依存するアクションの認識に、どの程度向上効果をもたらすか？
• RQ4 提案された高次関係推論演算子は、シーンの空間的・時間的整合性のあるキューを効果的に捉えられるか？
• RQ5 ACAR-Netは、複雑な人間-オブジェクトおよび人間-人間インタラクションを含む、多様なデータセットやアクションカテゴリに一般化可能か？

主な発見

• ACAR-NetはAVA-Kinetics 2020テストセットで39.62 mAPを達成し、1位にランクされ、他のすべての参加者より+6.71 mAPも高い性能を示した。
• AVAデータセットでは、アクター・コンテキスト・アクター関係の明示的モデリングにより、ベースライン性能が+2.86 mAP向上した。
• UCF101-24では、アクター・コンテキスト特徴バンクを用いない状態で84.3 mAP、用いた状態で82.4 mAPを達成し、強力な一般化性能とロバスト性を示した。
• 可視化結果から、モデルがアクションを媒介する関連するコンテキスト領域（手、腕、物体など）に適切に注目していることが確認された。
• 高次関係推論演算子は、『ハンドルを操作するドライバー』の行動から『乗る』という行動を推論するような、暗黙の2次関係を効果的に符号化した。
• 本手法は、AVAおよびUCF101-24の両データセットで一貫した向上を示し、多様な実世界シナリオにおいても有効であることが示された。