[論文レビュー] Robustness Analysis of Video-Language Models Against Visual and Language Perturbations

Madeline C. Schiappa, Shruti Vyas+3 more|arXiv (Cornell University)|Jul 5, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文は、テキストから動画への検索タスクにおける、現実世界の視覚的および言語的ノイズに対して、動画・言語モデルの耐性を初めて包括的に分析したものである。MSRVTT-P および YouCook2-P という2つの大規模ベンチマークを用い、90種類の視覚的ノイズと35種類のテキストノイズを含む。研究では、モデルが動画のみに影響を受けるノイズに対してより脆弱であることが判明した。また、事前学習が顕著な利益をもたらし、運動よりも物体やシーンに注目する傾向を示した。さらに、ターゲットデータセットで微調整したモデルは、事前学習済みモデルよりも性別バイアスを強く示した。

ABSTRACT

Joint visual and language modeling on large-scale datasets has recently shown good progress in multi-modal tasks when compared to single modal learning. However, robustness of these approaches against real-world perturbations has not been studied. In this work, we perform the first extensive robustness study of video-language models against various real-world perturbations. We focus on text-to-video retrieval and propose two large-scale benchmark datasets, MSRVTT-P and YouCook2-P, which utilize 90 different visual and 35 different text perturbations. The study reveals some interesting initial findings from the studied models: 1) models are generally more susceptible when only video is perturbed as opposed to when only text is perturbed, 2) models that are pre-trained are more robust than those trained from scratch, 3) models attend more to scene and objects rather than motion and action. We hope this study will serve as a benchmark and guide future research in robust video-language learning. The benchmark introduced in this study along with the code and datasets is available at https://bit.ly/3CNOly4.

研究の動機と目的

• 視覚的および言語的モダリティにおける現実世界の分布シフトに対して、動画・言語モデルの耐性を調査すること。
• 事前学習が、学習からゼロから始める場合と比較して、動画・言語モデルの耐性を向上させるかどうかを特定すること。
• モデルの注目メカニズムを分析し、静的コンテンツ（物体、シーン）よりも動的コンテンツ（運動、行動）に注目するかどうかを検証すること。
• ターゲットデータセットで微調整することで、動画・言語モデルに性別バイアスが導入されたり、強化されたりするかどうかを評価すること。
• 今後の耐性のあるマルチモodalな動画・言語学習研究のためのベンチマークを確立すること。

提案手法

• MSRVTT および YouCook2 データセットに、90種類の視覚的ノイズと35種類のテキストノイズを適用することで、大規模なベンチマークデータセット MSRVTT-P および YouCook2-P を構築した。
• 実世界の分布シフトを模倣するため、画像のぼやけ、カメラのぶれ、デジタル圧縮、スペルミス、同義語の入れ替え、位置ずれなどの多様なノイズを適用した。
• VideoCLIP、UniVL、FIT などの複数の動画・言語モデルを、学習からゼロから始める、事前学習済み重みを用いたゼロショット、ターゲットデータセットで微調整するという、さまざまな学習体制で評価した。
• 異なるノイズタイプとモダリティごとに、相対的および絶対的耐性スコアを測定することで耐性を評価した。
• ノイズ下でのモデルの注目対象となる視覚的および言語的コンポonentsを分析するために、注目可視化を実施した。
• 性別言及語のテキストとそれに該当する動画コンテンツを対象に、モデルの予測を分析することでバイアス評価を実施した。

実験結果

リサーチクエスチョン

• RQ1 テキストから動画への検索タスクにおいて、動画・言語モデルは現実世界の視覚的および言語的ノイズに対してどのように動作するか？
• RQ2 学習からゼロから始める場合と比較して、事前学習が耐性を向上させるか？
• RQ3 ノイズ下で、モデルは静的要素（物体、シーン）よりも動的要素（運動、行動）に注目するか？
• RQ4 ターゲットデータセットで微調整することで、動画・言語モデルに性別バイアスが導入されたり、強化されたりするか？
• RQ5 自然なノイズ、機械生成ノイズ、合成ノイズの各タイプにおけるモデルの耐性は、どのように異なるか？

主な発見

• モデルは、動画モダリティのみが損なわれるノイズに対して顕著に脆弱であることが判明し、視覚的処理の脆弱性が言語的ノイズよりも高いことが示された。
• 事前学習済みモデルは、学習からゼロから始めるモデルと比較して、耐性および性能の両面で一貫して優れており、大規模事前学習の価値を示した。
• 動画・言語モデルの注目メカニズムは、運動や行動の手がかりよりも、物体やシーンといった静的視覚的要素に主に注目している。
• ターゲットデータセットで微調整したモデルは、事前学習済み重みを使用したモデルよりも強い性別バイアスを示した。微調整後でも同様の傾向が見られたため、ターゲットデータが既存のバイアスを強化する可能性があると示唆された。
• ゼロショットモデル、特に UniVL および VideoCLIP は、合成および機械生成ノイズに対して相対的に高い耐性を示した。
• MSRVTT-P における平均絶対耐性スコアは、合成ノイズ（DropText/Positional）に対して 0.82 ± 0.14 であったが、最高性能を示したモデル（UniVL-zs）は 0.92 ± 0.05 を達成しており、厳しい条件下でも優れた性能を示した。