[論文レビュー] Asynchronous Interaction Aggregation for Action Detection

Jiajun Tang, Xia Jin+3 more|arXiv (Cornell University)|Apr 16, 2020

Human Pose and Action Recognition参考文献 38被引用数 6

ひとこと要約

本稿では、階層的な相互作用集約（IA）構造と非同期メモリ更新（AMU）アルゴリズムを用いて、人物同士、人物・物体、時間的相互作用を統合することで、長距離依存関係を効率的にモデル化する非同期相互作用集約（AIA）ネットワークを提案する。AIAはAVA（31.2 mAP、ベースライン比3.7 mAPの向上）、UCF101-24およびEPIC-Kitchensでも優れた汎化性能を示し、最先端の性能を達成した。

ABSTRACT

Understanding interaction is an essential part of video action detection. We propose the Asynchronous Interaction Aggregation network (AIA) that leverages different interactions to boost action detection. There are two key designs in it: one is the Interaction Aggregation structure (IA) adopting a uniform paradigm to model and integrate multiple types of interaction; the other is the Asynchronous Memory Update algorithm (AMU) that enables us to achieve better performance by modeling very long-term interaction dynamically without huge computation cost. We provide empirical evidence to show that our network can gain notable accuracy from the integrative interactions and is easy to train end-to-end. Our method reports the new state-of-the-art performance on AVA dataset, with 3.7 mAP gain (12.6% relative improvement) on validation split comparing to our strong baseline. The results on dataset UCF101-24 and EPIC-Kitchens further illustrate the effectiveness of our approach. Source code will be made public at: https://github.com/MVIG-SJTU/AlphAction .

研究の動機と目的

• 既存の行動検出手法が単一の相互作用タイプ（例：人物・物体）に限定してモデル化しているという限界を解消すること。
• 計算コストが著しく増大するのを避けて、長期間にわたる時間的相互作用を効率的にモデル化する課題を克服すること。
• 多様な人物・文脈相互作用を統合的に活用する深層ネットワークのエンドツーエンド学習を可能にし、空間的・時間的行動局所化を向上させること。
• AVA、UCF101-24、EPIC-Kitchensといった複数のベンチマークにおいて、提案フレームワークの汎化性能を示すこと。

提案手法

• ネットワークの深さに沿って基本的な相互作用ブロックをネストすることで、人物同士、人物・物体、時間的相互作用の3種類の相互作用を段階的に統合する相互作用集約（IA）構造を提案する。
• 過去のクリップから空間特徴を動的に保存・取得することで、事前に特徴を抽出せずに長距離時間的依存関係をモデル化する、新規の非同期メモリ更新（AMU）アルゴリズムを採用する。
• ターゲットクリップの特徴をメモリプールに書き込み、以降のイテレーションで再取得することで、長期間の文脈モデリングを模倣するメモリ構造を用いる。
• シーケンス長に比例して計算コストが線形に増加するのを避けるために、非可逆的長期間メモリ特徴を書き込み・読み込みメカニズムで近似することで、エンドツーエンド学習を可能にする。
• IAとAMUのコンponentsを統合したフレームワークを構築し、標準的なバックプロパゲーションと標準的な動画バックボーンアーキテクチャで最適化可能な、統一された訓練可能フレームワークを実現する。
• 一貫した実装で複数のデータセットに適用：UCF101-24にはResNet-50/C2D、EPIC-KitchensにはSlowFastバックボーンと特徴レベルでの相互作用モデリングを用いる。

実験結果

リサーチクエスチョン

• RQ1 人物・文脈相互作用（人物同士、人物・物体、時間的）の複数タイプを統合的に扱える統一された深層アーキテクチャは、行動検出の精度向上に有効であるか？
• RQ2 事前に特徴を計算せず、高い計算コストを伴わずに、長期間の時間的相互作用を効率的に動的にモデル化できるメモリ機構は存在するか？
• RQ3 提案された非同期メモリ更新（AMU）アルゴリズムは、長距離依存関係を持つネットワークの安定的かつエンドツーエンド学習を可能にするか？
• RQ4 AIAフレームワークは、AVA、UCF101-24、EPIC-Kitchensといった多様なベンチマークで一貫した性能向上を示す汎化能力を有するか？
• RQ5 統合された相互作用は、局所的または単一の相互作用特徴に依存するモデルと比較して、複雑で長期間にわたる行動の検出にどの程度寄与するか？

主な発見

• AIAはAVA v2.2の検証スプリットで32.26 mAPを達成し、強力なベースライン比で3.7 mAPの向上（相対改善率12.6％）を実現し、新たな最先端性能を樹立した。
• AVA v2.1では、AIA-R101が31.2 mAPを達成し、以前の最先端手法（SlowFast）を3.0 mAP上回った。
• UCF101-24では、AIA-Serialが78.5 mAPを達成し、C2Dベースライン比で3.3％の向上を示し、2Dバックボーンでさえも優れた性能を発揮した。
• EPIC-Kitchensでは、AIA-Dense-Serialが動詞で60.0％のトップ1正答率（ベースライン比3.2％向上）、行動分類で27.7％（3.6％向上）を達成した。
• アブレーションスタディにより、3つの相互作用タイプを同時にモデル化することで性能が顕著に向上し、各コンponentが最終的な向上に寄与していることが確認された。
• AMUアルゴリズムは、最小限の計算オーバーヘッドで効果的な長距離モデリングを可能にし、エンドツーエンド学習が可能でかつ効率的であることを示した。