[論文レビュー] 1st place solution for AVA-Kinetics Crossover in AcitivityNet Challenge 2020

Siyu Chen, Junting Pan+7 more|arXiv (Cornell University)|Jun 16, 2020

Human Pose and Action Recognition参考文献 16被引用数 4

ひとこと要約

本論文は、ActivityNet Challenge 2020 の AVA-Kinetics Crossover トラックで1位を獲得したソリューションを提示しており、ロケーション別アテンションメカニズムを用いて、アクトラーとシーンコンテキストの間の高次元の空間的・時間的関係をモデル化する、アクター・コンテキスト・アクター関係ネットワーク（ACAR-Net）を導入している。この手法は、弱い教師付き関係的推論ブロックを通じて、1次元のアクター・コンテキスト関係とその高次相互作用を明示的に活用することで、テストセットで39.62 mAPを達成し、他の参加エントリーより顕著に優れた性能を発揮した。

ABSTRACT

This technical report introduces our winning solution to the spatio-temporal action localization track, AVA-Kinetics Crossover, in ActivityNet Challenge 2020. Our entry is mainly based on Actor-Context-Actor Relation Network. We describe technical details for the new AVA-Kinetics dataset, together with some experimental results. Without any bells and whistles, we achieved 39.62 mAP on the test set of AVA-Kinetics, which outperforms other entries by a large margin. Code will be available at: https://github.com/Siyu-C/ACAR-Net.

研究の動機と目的

• アクターとシーンコンテキストの間の複雑な高次元関係をモデル化することで、AVA-Kinetics Crossover データセットにおける空間的・時間的行動局所化の性能を向上させること。
• 共有された空間的コンテキストを通じて、アクトラー間の間接的で高次元の関係を効率的かつ効果的にモデル化する手法を開発すること。
• ドメインシフトと検出品質の制限にもかかわらず、大規模な Kinetics データを活用して、AVA-Kinetics ベンチマークにおける汎化性能と性能を向上させること。
• 人間による関係アノテーションデータが不要な、弱い教師付き関係的推論モジュールを設計すること。
• 特徴バンク、関係モデリング、マルチスケール推論を組み合わせたシンプルだが強力なアーキテクチャを用いて、最先端の性能を達成すること。

提案手法

• フレームワークは、ビデオバックボーン（例：I3D や SlowFast）と人物検出器（例：Faster R-CNN）を用い、キーフレームから空間的・時間的特徴を抽出し、RoIプロポーザルを生成する。
• 1次元のアクター・コンテキスト関係は、各アクトラーの特徴とビデオ特徴マップの空間グリッドを連結し、その後畳み込み処理を施して関係マップを生成することで計算される。
• 高次元関係的推論演算子（HR²O）が導入され、同じ空間的位置における1次元アクター・コンテキスト特徴間の関係をモデル化する。これは、層正則化とドロップアウトを施した変更版畳み込み型非局所ブロックを用いている。
• HR²Oは、各空間位置における異なるアクトラーの1次元関係特徴間のアテンション重みを計算し、重み付き和による畳み込みにより高次元関係特徴を生成する。
• 短いクリップから構築されたアクター・コンテキスト特徴バンク（ACFB）は、時間経過にわたって1次元関係特徴を保存・再利用することで、長距離時間的モデリングを強化する。
• 最終的な予測は、RoI特徴、高次元関係特徴（平均プーリングによる処理）および分類ヘッドを組み合わせることで得られ、複数のモデルおよびバックボーンにおけるアンサンブルが実施される。

実験結果

リサーチクエスチョン

• RQ1 同じ空間位置におけるアクター・コンテキスト特徴の高次元関係をモデル化することで、空間的・時間的行動局所化の性能が向上するか？
• RQ2 明示的な関係アノテーションがなくとも、弱い教師付きでアテンションベースの関係的推論モジュールが、間接的で高次元の依存関係をどれほど効果的に捉えることができるか？
• RQ3 Kinetics-700で事前学習し、AVA-Kineticsで微調整することで、ターゲットベンチマークにおける汎化性能とmAPはどの程度向上するか？
• RQ4 人物検出の品質が、特に真値ではなくモデル生成ボックスを用いる場合、最終的な行動局所化性能にどのように影響するか？
• RQ5 時間経過にわたる1次元関係特徴バンクは、長距離時間的モデリングを向上させ、行動局所化のmAPを向上させるか？

主な発見

• 提案されたACAR-Netは、AVA-Kineticsのテストセットで39.62 mAPを達成し、ActivityNet Challenge 2020 における他のすべてのエントリを大きく上回った。
• シンプルな線形分類ヘッドにACAR-Netヘッドを追加することで、mAPが1.6ポイント向上し、高次元関係モデリングの有効性が示された。
• アクター・コンテキスト特徴バンク（ACFB）ヘッドを統合することで、ベースライン比でmAPが2.86ポイント向上し、長期的特徴記憶の利点が顕著に示された。
• より強力なSlowFast R152バックボーンを用いることで、mAPがR101比で0.54ポイント向上したが、テストセットではわずか-0.13 mAPの低下に抑えられ、良好な汎化性能が示された。
• AVA-Kineticsで学習する際、Kineticsデータを併用することで、AVA単体での学習と比較してmAPが約2ポイント向上し、データミキシングの価値が裏付けられた。
• AVA人物検出で95.8 AP@50を達成したにもかかわらず、真値性能まで8.1 mAPのギャップが残っており、検出品質が依然としてボトルネックであることが示された。