[論文レビュー] X-Pool: Cross-Modal Language-Video Attention for Text-Video Retrieval

Satya Krishna Gorti, Noël Vouitsis+5 more|arXiv (Cornell University)|Mar 28, 2022

Multimodal Machine Learning Applications被引用数 11

ひとこと要約

X-Poolは、テキストが入力テキストに関連する最も意味的に適切な動画フレームに注目できるようにするクロスモーダルアテンション機構を提案する。テキストクエリに条件付けられた動画プーリングにより、テキスト-動画検索性能が向上する。MSR-VTT、MSVD、LSMDCの3つのベンチマークで最先端の性能を達成し、Recall@1で最大12%の相対的改善を示し、シーンチェンジなどの動画コンテンツの多様性に対しても高いロバスト性を示す。

ABSTRACT

In text-video retrieval, the objective is to learn a cross-modal similarity function between a text and a video that ranks relevant text-video pairs higher than irrelevant pairs. However, videos inherently express a much wider gamut of information than texts. Instead, texts often capture sub-regions of entire videos and are most semantically similar to certain frames within videos. Therefore, for a given text, a retrieval model should focus on the text's most semantically similar video sub-regions to make a more relevant comparison. Yet, most existing works aggregate entire videos without directly considering text. Common text-agnostic aggregations schemes include mean-pooling or self-attention over the frames, but these are likely to encode misleading visual information not described in the given text. To address this, we propose a cross-modal attention model called X-Pool that reasons between a text and the frames of a video. Our core mechanism is a scaled dot product attention for a text to attend to its most semantically similar frames. We then generate an aggregated video representation conditioned on the text's attention weights over the frames. We evaluate our method on three benchmark datasets of MSR-VTT, MSVD and LSMDC, achieving new state-of-the-art results by up to 12% in relative improvement in Recall@1. Our findings thereby highlight the importance of joint text-video reasoning to extract important visual cues according to text. Full code and demo can be found at: https://layer6ai-labs.github.io/xpool/

研究の動機と目的

• 入力テキストの関連性にかかわらずすべてのフレームを統合するテキストに依存しない動画プーリング手法の限界を解消すること。
• テキストと動画フレームの間で共同推論を可能にすることで、意味的に最も関連性の高い視覚的特徴のみを抽出することにより、テキスト-動画検索性能を向上させること。
• テキストが動画の最も関連性の高い部分に動的に注目できるパラメトリックなクロスモーダルアテンション機構を設計すること。
• シーンチェンジのような動画コンテンツの多様性が増加する条件下での検索モデルのロバスト性を評価すること。
• テキストに条件付けられたプーリングが、標準的な平均プーリングや自己アテンション手法よりも検索性能とロバスト性に優れていることを実証すること。

提案手法

• X-Poolはスケーリングされたドット積アテンションを用いて、テキストクエリから個々の動画フレームに対するアテンション重みを計算し、意味的に関連性の高い部分に注目できるようにする。
• アテンション重みを用いて動画特徴を条件付きに集約し、入力テキストと文脈的に整合した動画表現を生成する。
• 事前学習済みのビジョン・ランゲージモデルに基づき、テキスト埋め込みとフレームレベルの視覚的特徴との間にクロスアテンションを適用する。
• 学習されたアテンション重みを用いた重み付き平均化によりフレーム特徴を統合し、クエリテキストに適合した動画表現を生成する。
• 共有された潜在空間におけるクロスマodal類似度を最適化するために、対照的損失を用いてエンドツーエンドで微調整する。
• 標準的な検索指標（Recall@1 や Median Rank）を用いて、MSR-VTT、MSVD、LSMDCの3つのベンチマークデータセットで評価する。

実験結果

リサーチクエスチョン

• RQ1 平均プーリングや自己アテンションといったテキストに依存しないプーリング手法と比較して、テキストに条件付けられた動画プーリングはテキスト-動画検索性能を向上させるか？
• RQ2 シーンチェンジのような動画コンテンツの多様性が増加する際、検索モデルの性能はどのように低下するか？
• RQ3 複数の明確な視覚的シーンや急な切り替えを含む動画において、X-Poolは高い検索精度を維持できるか？
• RQ4 X-Poolのアテンション機構は、与えられたテキスト記述に対して最も関連性の高い動画フレームを効果的に局在化できるか？
• RQ5 動画コンテンツの変化にかかわらず、複数のベンチマークで最先端の性能を維持できるのか、提案手法はロバスト性を示すか？

主な発見

• X-PoolはMSR-VTT、MSVD、LSMDCで新たな最先端性能を達成し、先行手法と比較してRecall@1で最大12%の相対的改善を示した。
• モデルは動画コンテンツの多様性に対して顕著に高いロバスト性を示した：シーンチェンジが増加しても、Median Rankは2から9にしか上昇せず、平均プーリングでは2から46にまで上昇する。
• 定性的な分析により、X-Poolは入力テキストと意味的に整合性の高いフレームに高いアテンション重みを割り当てていることが確認された。複雑な状況やニュアンスのある状況でも同様に適切に動作した。
• アテンション機構は関連する動画部分を的確に局在化でき、たとえば神経過程を説明するテキストに対して脳のアニメーションフレームに注目した。
• 視覚的多様性が強い動画においても、X-Poolはテキストに依存しないプーリング手法を上回る性能を示し、全評価指標で優位性を示した。
• 複数のシーンチェンジを含む動画においても、モデルは優れた性能を維持しており、関係のない視覚的ノイズを効果的に除外できる能力を示した。