[論文レビュー] Contrastive Video-Language Learning with Fine-grained Frame Sampling

Zixu Wang, Yujie Zhong+3 more|arXiv (Cornell University)|Oct 10, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

FineCoは、フレームセレクタを用いて意味的に関連する動画フレームをサンプリングし、その後フレーム-テキストペアに対して対照的損失を適用することで、動画-言語表現を向上させる細分化された対照的学習アプローチを提案する。これはYouCookIIでSOTAを達成し、MSR-VTTでも競争力ある結果を示すが、特に弱い動画-テキスト対応関係を示す長時間の動画において顕著である。

ABSTRACT

Despite recent progress in video and language representation learning, the weak or sparse correspondence between the two modalities remains a bottleneck in the area. Most video-language models are trained via pair-level loss to predict whether a pair of video and text is aligned. However, even in paired video-text segments, only a subset of the frames are semantically relevant to the corresponding text, with the remainder representing noise; where the ratio of noisy frames is higher for longer videos. We propose FineCo (Fine-grained Contrastive Loss for Frame Sampling), an approach to better learn video and language representations with a fine-grained contrastive objective operating on video frames. It helps distil a video by selecting the frames that are semantically equivalent to the text, improving cross-modal correspondence. Building on the well established VideoCLIP model as a starting point, FineCo achieves state-of-the-art performance on YouCookII, a text-video retrieval benchmark with long videos. FineCo also achieves competitive results on text-video retrieval (MSR-VTT), and video question answering datasets (MSR-VTT QA and MSR-VTT MC) with shorter videos.

研究の動機と目的

• 動画-言語表現学習における動画とテキストの間の弱いまたは疎な対応関係に対処すること。
• 全動画クリップを均一な単位として扱うのではなく、意味的に関連するフレームに焦点を当てることで、クロスモodalな整合性を向上させること。
• 標準的なペアレベルの対照的学習において学習信号を希釈する要因となる不要なフレームの影響を軽減すること。
• フレームレベルのアノテーションを必要とせずに、動画表現を向上させるフレームレベルの対照的目的関数を開発すること。
• 細分化されたフレームサンプリングが、特にYouCookIIのような長時間の動画データセットにおいて性能向上に寄与することを示すこと。

提案手法

• フレーム-テキスト類似度スコアに基づき、意味的に類似度の高いフレームを特定・サンプリングするフレームセレクタを学習する。
• 選択された正例フレームと非選択の負例フレームの間で細分化された対照的損失を適用し、関連する視覚的コンテンツとテキストの整合性を促進する。
• VideoCLIPフレームワークに統合され、動画およびテキストエンコーダーを用い、ペアレベルおよびフレームレベルの両方の対照的目的関数を用いてエンドツーエンドで学習される。
• 正例フレームの数（k）は開発セット上でチューニングされるハイパーパrameterとされ、k個の類似度スコアが最も高いフレームを固定k戦略で選択する。
• 時間的アノテーションを必要としないため、緩く対応する動画-テキストペアを持つデータセットにも適用可能である。
• 対照的損失の前にフレームサンプリングが行われるため、より情報量の多いフレームの集積が可能となり、動画表現の向上が図られる。

Figure 1: Illustration of the weak correspondence problem in video-language learning. Given a pair of video and its text ( e.g. caption, instruction, or transcription), only a subset of the frames (here indicated by coloured bounding boxes) is semantically aligned to the textual content. The remaini

実験結果

リサーチクエスチョン

• RQ1 動画-テキストペアレベルのアノテーションしか入手できない状況下で、フレームレベルの対照的学習は動画-言語表現を向上させ得るか？
• RQ2 動画から意味的に最も関連するフレームのみをサンプリングすることで、全フレームを用いる場合と比較して、より良いクロスモダリティ整合性が達成できるか？
• RQ3 特に対応関係が疎である長時間の動画を含む、さまざまな動画長を持つデータセットにおいて、フレームレベルの対照的学習の性能はどのように変化するか？
• RQ4 フレームレベルのサンプリングは、動詞レベルのサンプリングよりも、動画-言語検索の向上に有効であるか？
• RQ5 提案手法は、対照的学習に基づくさまざまな動画-言語フレームワークに一般化可能か？

主な発見

• FineCoはYouCookIIのテキスト-動画検索ベンチマークでSOTAを達成し、特に長時間の動画において顕著な性能向上を示した。
• YouCookIIでは、R@1が32.1、R@5が62.6、R@10が75.5を達成し、ベースラインのVideoCLIPモデルを顕著に上回った。
• MSR-VTT MC（複数選択）ではk=25で最高性能を記録し、短時間の動画に対しても有効であることを示した。
• アブレーションスタディの結果、MSR-VTT QAではk=20、MSR-VTT MCではk=25の固定k戦略が最適であり、適切な正例フレーム数の選択が重要であることを確認した。
• フレームレベルのサンプリングは、語彙レベルのサンプリングを上回った。語を除去すると文の意味が損なわれる一方で、フレームは冗長性が高く、フィルタリングに適している。
• 定性的な例では、FineCoがキーフレームに注目することで正確に動画を検索しているが、短時間または動的でない動画ではフレーム選択が不十分であるため、失敗するケースも確認された。

Figure 2: FineCo architecture. Given a sequence of frames in a video clip $x$ , the video encoder $f$ transforms them into a sequence of video features. The corresponding sentence $y$ is fed into the text encoder $g$ to get the text representation. The frame selector $FS$ takes the text representati