[論文レビュー] AEI: Actors-Environment Interaction with Adaptive Attention for Temporal Action Proposals Generation

Viet-Khoa Vo-Ho, Hyekang Joo+5 more|arXiv (Cornell University)|Oct 21, 2021

Human Pose and Action Recognition参考文献 41被引用数 12

ひとこと要約

本稿では、時間的アクションプロポーザル生成を改善するために、適応的アテンションを用いてアーティストと環境の相互作用をモデル化する新しい動画表現ネットワークAEIを提案する。環境、アーティスト、相互作用の観察者を適応的アテンション機構で統合することで、AEIはActivityNet-1.3およびTHUMOS-14で最先端の性能を達成し、プロポーザル生成および検出の両タスクで顕著な優位性を示した。

ABSTRACT

Humans typically perceive the establishment of an action in a video through the interaction between an actor and the surrounding environment. An action only starts when the main actor in the video begins to interact with the environment, while it ends when the main actor stops the interaction. Despite the great progress in temporal action proposal generation, most existing works ignore the aforementioned fact and leave their model learning to propose actions as a black-box. In this paper, we make an attempt to simulate that ability of a human by proposing Actor Environment Interaction (AEI) network to improve the video representation for temporal action proposals generation. AEI contains two modules, i.e., perception-based visual representation (PVR) and boundary-matching module (BMM). PVR represents each video snippet by taking human-human relations and humans-environment relations into consideration using the proposed adaptive attention mechanism. Then, the video representation is taken by BMM to generate action proposals. AEI is comprehensively evaluated in ActivityNet-1.3 and THUMOS-14 datasets, on temporal action proposal and detection tasks, with two boundary-matching architectures (i.e., CNN-based and GCN-based) and two classifiers (i.e., Unet and P-GCN). Our AEI robustly outperforms the state-of-the-art methods with remarkable performance and generalization for both temporal action proposal generation and temporal action detection.

研究の動機と目的

• 既存の時間的アクションプロポーザル生成（TAPG）手法が、アクションの開始・終了の認識をアーティストと環境の相互作用を通じて無視するという限界に対処する。
• 動画スニペットにおけるアーティストと環境の相互作用を明示的にモデル化することで、人間の認識を模倣し、アクション局所化の正確性を向上させる。
• 新しい適応的アテンション機構を用いて、グローバルな環境的文脈、局所的なアーティスト特徴、およびそれらの動的相互作用を統合することで、動画表現を強化する。
• 動画理解における人間らしい認識のモデル化が、複数のデータセットおよびバックボーンアーキテクチャにわたる強固で汎用的な性能向上をもたらすことを実証する。

提案手法

• 環境観察者（グローバル文脈）、アーティスト観察者（局所的アーティスト特徴）、相互作用観察者（アーティスト-環境関係のモデル化）の3つの専用観察者を持つ、認識に基づく視覚的表現（PVR）モジュールを導入する。
• アーティスト観察者に適応的アテンション機構（AAM）を採用し、アクションに対する関連性に基づいて主要なアーティストを動的に特定・注目する。
• アテンションに基づく重み付けを用いて、環境とアーティストの観察者からの特徴を相互作用観察者で統合し、顕著な相互作用を強調する。
• 強化された動画表現からアクションプロポーザルを生成するため、CNNベースまたはGCNベースのアーキテクチャを備えた境界マッチングモジュール（BMM）を用いる。
• 信頼度スコアとIoUの閾値に基づいて、重複するプロポーザルを非最大抑制（NMS）でフィルタリングする。
• プロポーザル分類のための交差エントロピー損失と境界の微調整のための回帰損失を用いて、エンドツーエンドで学習を行う。

実験結果

リサーチクエスチョン

• RQ1 動画スニペットにおけるアーティスト-環境の相互作用のモデル化は、標準的な動画表現学習をはるかに超えて、時間的アクションプロポーザル生成を改善できるか？
• RQ2 主要アーティスト選択に適応的アテンションを組み込むことで、アクションプロポーザルネットワークの性能にどのような影響を与えるか？
• RQ3 提案されたAEIフレームワークは、異なるバックボーンアーキテクチャ（CNN対GCN）およびデータセット（ActivityNet-1.3、THUMOS-14）にわたってどれほど一般化可能か？
• RQ4 環境との相互作用を通じてアクションの開始・終了の認識を明示的にモデル化することで、検出およびプロポーザルの質が向上するか？
• RQ5 PVRモジュール内の各コンポonent（環境、アーティスト、相互作用観察者）の相対的寄与度はどの程度か？

主な発見

• AEI-B（CNNベースのBMM）は、THUMOS-14で600件のプロポーザルにおける平均リCALLが58.7%に達し、以前のSOTAであるGTAD*を0.9%、BSN*を5.9%上回った。
• AEI-G（GCNベースのBMM）は、THUMOS-14で600件のプロポーザルにおける平均リCALLが57.4%に達し、GTAD*を0.8%、BSN*を5.8%上回った。
• ActivityNet-1.3では、AEI-BがAR@100で23.4%、AR@200で35.9%、AR@300で44.7%、AR@500で52.7%、AR@1000で58.7%を達成し、以前のSOTAであるGTAD*をAR@1000で1.3%上回った。
• 除去実験の結果、相互作用観察者と適応的アテンション機構が極めて重要であることが確認された。これらのコンponentsを削除すると性能が著しく低下し、『環境のみ』のバージョンでさえも下回った。
• 主要アーティスト選択コンponentの寄与度が特徴統合を上回っており、性能向上において、キーパーソンの正確な同定が統合戦略よりも重要であることが示された。
• AEIは、CNNおよびGCNの両方のBMMアーキテクチャ、およびUNetとP-GCNの両方の分類器において、強力な一般化性能を示し、そのロバストネスと設計の有効性を確認した。