[論文レビュー] Attend and Interact: Higher-Order Object Interactions for Video Understanding

Chih‐Yao Ma, Asim Kadav+4 more|arXiv (Cornell University)|Nov 16, 2017

Human Pose and Action Recognition参考文献 54被引用数 12

ひとこと要約

本稿では、効率的なアテンションベースのメカニズムを用いて動画内の高次オブジェクト相互作用をモデル化するSINet、つまり空間的・時間的相互作用ネットワークを提案する。KineticsおよびActivityNet Captionsのアクション認識および動画キャプションタスクにおいて、従来のペairwise手法と比較して3倍以上の計算量削減を達成しながら、精度を顕著に向上させた。1 FPSの動画サンプリングのみを用いても最先端の性能を達成した。

ABSTRACT

Human actions often involve complex interactions across several inter-related objects in the scene. However, existing approaches to fine-grained video understanding or visual relationship detection often rely on single object representation or pairwise object relationships. Furthermore, learning interactions across multiple objects in hundreds of frames for video is computationally infeasible and performance may suffer since a large combinatorial space has to be modeled. In this paper, we propose to efficiently learn higher-order interactions between arbitrary subgroups of objects for fine-grained video understanding. We demonstrate that modeling object interactions significantly improves accuracy for both action recognition and video captioning, while saving more than 3-times the computation over traditional pairwise relationships. The proposed method is validated on two large-scale datasets: Kinetics and ActivityNet Captions. Our SINet and SINet-Caption achieve state-of-the-art performances on both datasets even though the videos are sampled at a maximum of 1 FPS. To the best of our knowledge, this is the first work modeling object interactions on open domain large-scale video datasets, and we additionally model higher-order object interactions which improves the performance with low computational costs.

研究の動機と目的

• 従来の動画理解手法が粗い粒度の表現やペアワイズのオブジェクト相互作用に依存しているという限界に対処し、現実世界の動画における複雑な複数オブジェクト関係を捉えられないこと。
• 長時間の動画シーケンスにおいて、計算コストが著しく増大するのを防ぎつつ、3つ以上の関連オブジェクト間のグループ相互作用を効率的にモデル化すること。
• 複数のオブジェクトにわたる空間的・時間的・関係的情報を統合的に推論することで、アクション認識や動画キャプションといった細分化された動画理解タスクの性能を向上させること。
• 高次相互作用が予測精度に重要である、オープンドメインで大規模な動画データセット（KineticsおよびActivityNet Captions）上で本手法を検証すること。

提案手法

• 本手法は、ドット積自己アテンションを用いた再帰的モジュールを採用し、動画フレーム間のオブジェクト領域（ROIs）における動的な高次相互作用を発見・モデル化する。
• 画像レベル特徴（例：C3D や ResNeXt）とオブジェクトレベル特徴（例：Faster R-CNN）の2ストリーム特徴処理パイプラインを用い、バッチ正則化とReLUを伴う全結合層による特徴投影を実施する。
• 主な構成要素として、オブジェクト特徴にマルチヘッド自己アテンションを適用し、相互作用重みを計算し、LSTMセルを用いて隠れ状態を更新する再帰的高次相互作用（RHOI）モジュールを導入する。
• 画像特徴とオブジェクト特徴の間の共注意力（co-attention）を組み込み、クロスモality推論を強化することで、キャプション生成や認識タスクにおける文脈認識能力を向上させる。
• 効率性を最適化したアーキテクチャとして、K=2のアテンションヘッドを用いることで、1動画あたりのFLOPsを約18.3e9（ペアワイズ手法）から約5.3e9に削減し、3倍以上の高速化を達成した。
• 本手法は、Kinetics（アクション認識）およびActivityNet Captions（動画キャプション）で評価され、1 FPSでサンプリングされたフレームのみを用い、事前学習済みモデルから特徴を抽出した。

実験結果

リサーチクエスチョン

• RQ1 ペアワイズ関係を越えた高次オブジェクト相互作用をモデル化することで、アクション認識や動画キャプションといった細分化された動画理解タスクの性能向上が図れるか？
• RQ2 数百フレームにわたる長時間の動画において、モデル容量や精度を損なわずに、高次相互作用を計算的に実行可能か？
• RQ3 提案されたアテンションベースの相互作用モジュールは、従来のペアワイズ関係モデルと比較して、精度および計算効率の点で優れているか？
• RQ4 高次相互作用は、'abseiling'と'rock climbing'のような類似した行動クラスを区別するのにおいて、どの程度寄与するか？
• RQ5 高フレームレート入力が不要な状況でも、本モデルはオープンドメインで大規模な動画データセットに汎用的に適用可能か？

主な発見

• SINetは、1 FPSの動画サンプリングを用いても、Kineticsデータセットにおけるアクション認識タスクで最先端の性能を達成し、より高いフレームレートを必要とする従来手法を上回った。
• ActivityNet Captionsデータセットでは、SINet-Captionが1回目の検証セットでCIDEr-Dスコア44.14、2回目の検証セットで45.54を達成し、SOTA結果を記録した。
• 従来のペアワイズ相互作用モデルと比較して、FLOPsを3倍以上削減（1動画あたり約18.3e9 → 約5.3e9）しながら、精度も向上した。
• アブレーションスタディの結果、画像特徴とオブジェクト特徴を共注意力で統合したSINet-Caption（img + obj）が最も高い性能を示し、単一モalityベースラインを上回った。
• 『包丁でボウルのなかの卵を割る手』や『ウェイクボードに乗り降りする人物』といった複雑な複数オブジェクトの相互作用を効果的に捉え、空間的・時間的関係の推論能力が向上した。
• 複数人の人物が複数頭のラクダに乗りながら行動するような困難なケースでは、すべてのインスタンスを正しく検出できなかったが、重要な相互作用は正しく特定できた。