[論文レビュー] Winoground: Probing Vision and Language Models for Visio-Linguistic Compositionality

Tristan Thrush, Ryan Jiang+5 more|arXiv (Cornell University)|Apr 7, 2022

Multimodal Machine Learning Applications被引用数 14

ひとこと要約

Winogroundは、同じ単語を異なる順序で含むキャプションを用いて、視覚言語モデルの構成的推論能力を評価する新しいプロービングデータセットを導入した。驚くべきことに、最先端のモデルでさえランダムな当たりの程度に留まり、マルチモodalな構成的構造の理解に深刻な欠陥が存在することが明らかになった。

ABSTRACT

We present a novel task and dataset for evaluating the ability of vision and language models to conduct visio-linguistic compositional reasoning, which we call Winoground. Given two images and two captions, the goal is to match them correctly - but crucially, both captions contain a completely identical set of words, only in a different order. The dataset was carefully hand-curated by expert annotators and is labeled with a rich set of fine-grained tags to assist in analyzing model performance. We probe a diverse range of state-of-the-art vision and language models and find that, surprisingly, none of them do much better than chance. Evidently, these models are not as skilled at visio-linguistic compositional reasoning as we might have hoped. We perform an extensive analysis to obtain insights into how future work might try to mitigate these models' shortcomings. We aim for Winoground to serve as a useful evaluation set for advancing the state of the art and driving further progress in the field. The dataset is available at https://huggingface.co/datasets/facebook/winoground.

研究の動機と目的

• 視覚と言語のモダリティを横断する構成的推論能力を厳密に評価できる新しいベンチマークを開発すること。
• 最先端のモデルが、語順のみが異なるキャプションに対して画像を正しく一致させられるかどうかを調査すること。これは人間にとっては自明なタスクである。
• モデルの行動を細かく分析することで、現在のマルチモーダルアーキテクチャにおける失敗モードと性能ボトルネックを同定すること。
• 詳細な診断的評価を可能にするために、豊富なアノテーションと細かく分類されたタグを備えたデータセットを提供すること。
• 現在のモデルが視覚言語理解における構成的構造を処理する能力に限界を露呈させることで、今後の研究を促進すること。

提案手法

• Winogroundデータセットは、2枚の画像と2つのキャプションが提示されるペaired画像キャプションインスタンスで構成され、両方のキャプションに同じ単語が含まれているが、語順が異なる。
• 各画像キャプションペアは、語順の変更によって根本的に異なる視覚的状況が生じるよう構築されており、正しい一致を求めるには構成的推論が不可欠である。
• 専門のアノテーターが手作業でデータセットをキュレートし、視覚的および言語的属性の両面で詳細なタグを付与することで、性能分析を支援した。
• 11種類の最先端の視覚言語モデル（シングルストリームおよびデュアルストリームアーキテクチャを含む）がWinogroundベンチマークで評価された。
• モデルのパフォーマンスは3つの指標で測定された：テキストスコア（キャプションに基づいて正しい画像に一致させる）、画像スコア（画像に基づいて正しいキャプションに一致させる）、グループスコア（両方の画像キャプションペアを正しくペアリングする）。
• 分析には、語-領域注目度のヒートマップ、キャプションの perplexity、長さ、およびモデルスコアの相関分析、モデルアーキテクチャ、注目メカニズム、事前学習データサイズごとの評価が含まれた。

(b)

実験結果

リサーチクエスチョン

• RQ1 視覚言語モデルは、語順のみが異なるが同じ単語を含むキャプションに対して、構成的推論を要するため、画像をどれほど正しく一致させられるか。
• RQ2 標準的な視覚言語ベンチマークで優れたパフォーマンスを示すにもかかわらず、なぜ最先端のモデルがこのタスクで著しく失敗するのか。
• RQ3 モデルアーキテクチャ（シングルストリーム対デュアルストリーム）、注目メカニズム、事前学習データサイズが、構成的推論タスクのパフォーマンスにどのように影響するか。
• RQ4 モデル行動における主な失敗モードは何か。また、それらは例の言語的・視覚的複雑さとどのように相関するか。
• RQ5 モデルのパフォーマンスは、キャプションの perplexity や長さといった言語的特性によって予測可能か。また、これらは人間のパフォーマンスとどのように関係するか。

主な発見

• テストされた視覚言語モデルのすべてが、Winogroundベンチマークでランダムな当たりをわずかに上回る程度のパフォーマンスに留まり、グループスコアはほとんど0%に近い。
• ViLLAの大規模チェックポイントのみが、わずかに0.00013の信頼性の margins でランダムより優れたパフォーマンスを示しており、改善は最小限にとどまっている。
• コアテンションメカニズムを備えたモデルですら、語順のみが差分である場合に画像とキャプションを正しく一致させることができない。
• キャプションの長さとモデルパフォーマンスの間に顕著な負の相関が認められ、長いキャプションほどスコアが悪くなる傾向にある。これは言語符号化の限界を示唆している。
• モデルパフォーマンスは perplexity と弱い相関を示しており、低 perplexity のキャプションに対してスコアが高くなる傾向にあるが、これは正しい一致に結びつかない。
• 大規模な事前学習データセットは、CLIP や FLAVA を除外した場合に強くパフォーマンス向上と相関しており、スケールが構成的推論において重要な要因であることを示唆している。

Figure 4 : Word-region alignment scores between the image and text features for ViLT [ 40 ] on examples from Winoground. In this case study, ViLT appears to disregard the information from adjectives. E.g., the heatmaps highlight the brown dog just as strongly regardless of whether the text was “brow