[論文レビュー] A Simple Yet Effective Method for Video Temporal Grounding with Cross-Modality Attention

Binjie Zhang, Yu Li+4 more|arXiv (Cornell University)|Sep 23, 2020

Multimodal Machine Learning Applications参考文献 33被引用数 5

ひとこと要約

本論文は、動画の時間的グランドイングに向け、局所的およびグローバルな意味を整列させるために、動画と言語特徴を交互に変調するシンプルで効果的な2本のブランチからなるクロスモダリティアテンション（CMA）モジュールを提案する。粗いから細かいレベルへのエンコーダ・デコーダ変換器を採用し、特有のタスク用回帰損失を導入することで、パrameter数を減らしつつ、アノテーションバイアスへの耐性を高め、Charades-STAおよびActivityNet Captionsで最先端の性能を達成した。

ABSTRACT

The task of language-guided video temporal grounding is to localize the particular video clip corresponding to a query sentence in an untrimmed video. Though progress has been made continuously in this field, some issues still need to be resolved. First, most of the existing methods rely on the combination of multiple complicated modules to solve the task. Second, due to the semantic gaps between the two different modalities, aligning the information at different granularities (local and global) between the video and the language is significant, which is less addressed. Last, previous works do not consider the inevitable annotation bias due to the ambiguities of action boundaries. To address these limitations, we propose a simple two-branch Cross-Modality Attention (CMA) module with intuitive structure design, which alternatively modulates two modalities for better matching the information both locally and globally. In addition, we introduce a new task-specific regression loss function, which improves the temporal grounding accuracy by alleviating the impact of annotation bias. We conduct extensive experiments to validate our method, and the results show that just with this simple model, it can outperform the state of the arts on both Charades-STA and ActivityNet Captions datasets.

研究の動機と目的

• 動画時間的グランドイングにおける複雑でマルチモジュールなアーキテクチャの限界を解決すること。
• 動画と言語の両モダリティにおいて、局所的およびグローバルな粒度のクロスモーダル整列を向上させること。
• 既存データセットにおける曖昧なアクティビティ境界によるアノテーションバイアスの影響を軽減すること。
• パrameter数を削減しつつ高い精度を維持できる軽量でエンドツーエンドで学習可能なモデルを設計すること。

提案手法

• 本手法は、マルチヘッド自己アテンションとバイアテンション機構を用いて、動画と言語特徴を交互に変調する2本のブランチからなるクロスモダリティアテンション（CMA）モジュールを採用する。
• 粗いから細かいレベルへのエンコーダ・デコーダ変換器構造を用いる：エンコーダはクエリ誘導型の動画特徴変調を実行し、デコーダは両モダリティを反復的に精緻化する。
• 意味的フレーズ抽出（SPE）ネットワークは、クエリから多様な意味的フレーズを特定し、粗いレベルでの動画サーチをガイドする。
• 時間的位置符号化は、正弦／コサイン関数を用いて動画およびクエリシーケンスに適用され、順序の保存が保たれる。
• ハダマード積による特徴融合は、アブレーションスタディにおいて加算や連結よりも優れた性能を示した。
• アノテーションバイアスの影響を軽減するため、適応的しきい値（β）と係数（α）を備えた新しいタスク特有の回帰損失を導入した。

実験結果

リサーチクエスチョン

• RQ1 シンプルで2本のブランチアテンション機構は、複雑でマルチモジュールなアーキテクチャを上回る性能を発揮できるか？
• RQ2 粗いから細かいレベルへの戦略は、動画と言語モダリティ間の局所的およびグローバルな意味を整列させるのにどの程度効果的か？
• RQ3 タスク特有の損失関数は、曖昧なアクティビティ境界に起因するアノテーションバイアスの影響をどの程度軽減できるか？
• RQ4 パrameter数を減らした軽量モデルでも、標準ベンチマークで最先端の性能を達成できるか？

主な発見

• CMAモデル全体は、Charades-STAで57.56% R1@0.5を達成し、以前のSOTA（LGI+）を0.35%上回った。
• ActivityNet Captionsでは、先行手法と比較して半分未満のパラメータ数で最先端の性能を達成した。
• アブレーションスタディの結果、エンコーダオンリーやデコーダオンリーの変種よりも、完全なエンコーダ・デコーダ構造が優れた性能を示し、グローバルおよびローカルモデリングの両方の必要性を裏付けた。
• 位置符号化は性能に不可欠であり、正弦／コサイン関数によるPEが、学習可能な埋め込み行列よりも効率的で最高の結果を出した。
• ハダマード積融合が最も高い精度（57.56% R1@0.5）を達成し、加算（53.42%）や連結（56.45%）を上回った。
• α=10およびβ=0.1を設定した提案損失関数が最良の性能（57.56% R1@0.5）を達成し、アノテーションバイアスの影響を軽減する有効性を示した。