[論文レビュー] Audio-Enhanced Text-to-Video Retrieval using Text-Conditioned Feature Alignment

Sarah Ibrahimi, Xiaohang Sun+4 more|arXiv (Cornell University)|Jul 24, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文では、音声と映像の特徴を別々のクロスアテンションブロックを用いてテキストクエリに独立してアライメントするテキスト条件付き特徴アライメント手法TEFALを提案する。これにより、関連する音声情報が抑制されるのを回避する。TEFALは、MSR-VTTでE-CLIP-SEを4%以上上回るRecall@1の向上を達成し、4つの音声豊富なテキストから映像への検索ベンチマークで最先端の性能を発揮する。

ABSTRACT

Text-to-video retrieval systems have recently made significant progress by utilizing pre-trained models trained on large-scale image-text pairs. However, most of the latest methods primarily focus on the video modality while disregarding the audio signal for this task. Nevertheless, a recent advancement by ECLIPSE has improved long-range text-to-video retrieval by developing an audiovisual video representation. Nonetheless, the objective of the text-to-video retrieval task is to capture the complementary audio and video information that is pertinent to the text query rather than simply achieving better audio and video alignment. To address this issue, we introduce TEFAL, a TExt-conditioned Feature ALignment method that produces both audio and video representations conditioned on the text query. Instead of using only an audiovisual attention block, which could suppress the audio information relevant to the text query, our approach employs two independent cross-modal attention blocks that enable the text to attend to the audio and video representations separately. Our proposed method's efficacy is demonstrated on four benchmark datasets that include audio: MSR-VTT, LSMDC, VATEX, and Charades, and achieves better than state-of-the-art performance consistently across the four datasets. This is attributed to the additional text-query-conditioned audio representation and the complementary information it adds to the text-query-conditioned video representation.

研究の動機と目的

• 既存の音声強化型テキストから映像への検索手法が、テキストアライメントの前に音声と映像を統合することで関連する音声情報が抑制されるという制限を解消すること。
• テキストクエリに明示的に条件づけられた音声と映像の特徴を学習することで、音声と映像を一緒にアライメントするのではなく、検索性能を向上させること。
• テキスト条件付きの音声と映像特徴が補完的情報を提供し、音声と映像の統合をはるかに超える検索精度の向上をもたらすことを示すこと。
• 音声を含む多様で大規模な動画検索ベンチマークにおいて、TEFALの有効性を検証すること。

提案手法

• TEFALは、固定されたテキストおよび映像特徴抽出器としてCLIPを、固定された音声特徴抽出器としてASTを用い、初期埋め込みを生成する。
• テキストから音声およびテキストから映像の2つの独立したクロスアテンションブロックを適用し、テキストがそれぞれのモダリティを別々に注目できるようにする。
• テキストクエリがクエリとして機能し、音声および映像特徴が各クロスアテンション機構におけるキーとバリューとして機能する。
• 得られたテキスト条件付きの音声および映像特徴を加算して、最終的な音声強化型映像特徴を形成する。
• 音声と映像の統合的アテンションを避けることで、話されている言葉や画面外の音声など、視覚的に存在しない音声情報が保持される。
• スケーラブルな推論のため、TEFALは平均プーリングベースラインから得た上位K件の結果を再ランク付けするために使用され、計算コストを削減しながらも性能の著しい低下を防ぐ。

実験結果

リサーチクエスチョン

• RQ1 テキストクエリに音声と映像特徴を独立して条件づけることで、音声と映像を統合的にアライメントするのと比較して、より優れた検索性能が得られるか？
• RQ2 音声情報が視覚的に存在しない場合、例えば話されている数字や画面外の音声において、テキスト条件付きの音声特徴が検索を改善できるか？
• RQ3 音声強化による性能向上は、音声と映像の補完的情報によるものか、単にモダリティのアライメントが改善されたからなのか？
• RQ4 高コストな推論を伴う大規模な動画データセットに適用した場合、TEFALは実際のスケーラビリティを満たしているか？

主な発見

• MSR-VTTにおいてTEFALはRecall@1が49.4%を達成し、E-CLIP-SEを4%以上上回り、最先端の性能を示している。
• LSMDCでは、平均プーリングベースラインのRecall@1 20.9%からTEFALで26.8%に向上し、複数のデータセットで一貫した向上を示している。
• テキスト条件付きの音声特徴の追加により、映像のみのベースラインに比べて2.5%の性能向上が得られ、音声が検索に価値をもたらすことを確認した。
• 平均プーリングから得た上位10%の検索空間に限定してTEFALによる再ランク付けを実施したが、性能低下はほとんどなく、スケーラビリティを裏付けた。
• 音声と映像の埋め込みをスタックする、または第三のクロスアテンションブロックを用いるような統合手法は、単純な加算に比べて性能が劣り、統合が容易ではないことを示している。
• アブレーションスタディにより、音声と映像に別々のクロスアテンションを用いることが、音声と映像の統合に比べて優れていることが確認され、関連する音声情報の抑制を防げる。