[論文レビュー] Fine-grained Iterative Attention Network for TemporalLanguage Localization in Videos

Xiaoye Qu, Pengwei Tang+4 more|arXiv (Cornell University)|Aug 6, 2020

Multimodal Machine Learning Applications参考文献 43被引用数 13

ひとこと要約

本稿では、動画内の時系列言語局所化のための細分化反復注意ネットワーク（FIAN）を提案する。FIANは、双方向的で細分化された相互作用を通じて、動画とクエリの表現を相互に改善する対称的で反復的なクロスモーダル注意を用いる。FIANは、ActivityNet、TACoS、Charades-STAの3つのベンチマークで最先端の性能を達成し、コンテンツ指向の局所化戦略と新規のクロスモーダルガイド付き注意メカニズムにより、先行手法と顕著な差をつけて上回っている。

ABSTRACT

Temporal language localization in videos aims to ground one video segment in an untrimmed video based on a given sentence query. To tackle this task, designing an effective model to extract ground-ing information from both visual and textual modalities is crucial. However, most previous attempts in this field only focus on unidirectional interactions from video to query, which emphasizes which words to listen and attends to sentence information via vanilla soft attention, but clues from query-by-video interactions implying where to look are not taken into consideration. In this paper, we propose a Fine-grained Iterative Attention Network (FIAN) that consists of an iterative attention module for bilateral query-video in-formation extraction. Specifically, in the iterative attention module, each word in the query is first enhanced by attending to each frame in the video through fine-grained attention, then video iteratively attends to the integrated query. Finally, both video and query information is utilized to provide robust cross-modal representation for further moment localization. In addition, to better predict the target segment, we propose a content-oriented localization strategy instead of applying recent anchor-based localization. We evaluate the proposed method on three challenging public benchmarks: Ac-tivityNet Captions, TACoS, and Charades-STA. FIAN significantly outperforms the state-of-the-art approaches.

研究の動機と目的

• 従来のモデルが動画からクエリへのみ注目する一方向的注意の限界を是正し、クエリから動画への重要な手がかりを逃がさないようにすること。
• 動画フレームとクエリ語の間で細分化された双方向的相互作用を捉えることで、クロスモーダル表現を向上させること。
• アンカーに基づく回帰を置き換えるコンテンツ指向の局所化戦略により、局所化の正確性を向上させること。
• 動画に特化した表現とクエリに特化した表現を交互に精錬する対称的で反復的な注意メカニズムを設計すること。
• 複数の公開ベンチマーク上でアブレーションスタディを実施し、各モジュールの有効性を検証すること。

提案手法

• 複数の特徴空間でマルチヘッド注意を実行するクロスモーダルガイド付き注意（CGA）ブロックを提案し、細分化された動画-クエリ相互作用を捉える。
• 動画がクエリに注目し、クエリが動画に注目する交互なステップを繰り返すことで表現を精錬する、対称的で反復的な注意モジュールを採用する。
• 反復的に文に特化した動画表現と動画に特化した文表現を生成するクロスモーダルエンコーダーを導入する。
• 両モダリティからの注目特徴を統合するフィルタ制御型融合機構を用い、強固なクロスモーダル表現を構築する。
• アンカープロポーザルに依存せず、直接的にモーメントの境界を回帰するコンテンツ指向の局所化モジュールを適用する。
• 各イテレーションでテキストクエリと関連する動画セグメントの整合性を向上させるマルチステージ精錬プロセスを採用する。

実験結果

リサーチクエスチョン

• RQ1 動画とテキストの間で反復的かつ双方向的な注意が、時系列言語局所化におけるグランドイング正確性を向上させることができるか？
• RQ2 動画に特化した文表現を組み込むことで、文に特化した動画表現の質が向上するか？
• RQ3 提案されたコンテンツ指向の局所化戦略は、アンカーに基づく手法と比較して境界予測の正確性で優れているか？
• RQ4 標準的なソフト注目と比較して、クロスモーダルガイド付き注意ブロックが細分化された相互作用をモデル化する上で果たす貢献は何か？
• RQ5 連結や行列演算などの異なる統合戦略が、モデルの最終的性能に与える影響は何か？

主な発見

• FIANは、ActivityNet Captions、TACoS、Charades-STAの3つのベンチマークすべてで最先端の性能を達成し、先行手法を大きく上回った。
• TACoSでは、IoU=0.5の条件下でRank@1が44.8%、Rank@5が76.1%を達成し、以前の最先端手法を顕著に上回った。
• アブレーションスタディの結果、情報ゲーティングを備えたCGAブロックは、標準的なソフト注目と比較してRank@1（IoU=0.5）で1.51%の向上を示した。
• 対称的で反復的な注意を備えた完全なFIANモデルは、単一ブランチの変種（例：FIAN-VQMAやFIAN-QVMA）を上回り、相互精錬の利点を実証した。
• 局所化モジュールをTGNやCMINに置き換えると性能が低下したため、提案された局所化戦略の優位性が確認された。
• ストライド=1/8θkでの最適な候補サンプリングが最も高いR@1性能を示したが、密なサンプリング（ストライド=1）は曖昧性のため学習を損なった。