[論文レビュー] VALSE: A Task-Independent Benchmark for Vision and Language Models Centered on Linguistic Phenomena

Letitia Parcalabescu, Michele Cafagna+4 more|arXiv (Cornell University)|Dec 14, 2021

Multimodal Machine Learning Applications参考文献 61被引用数 6

ひとこと要約

VALSEは、視覚・言語モデルの言語現象の接地能力を評価するタスクに依存しないベンチマークであり、存在、複数、数え上げ、空間的関係、行動、共参照の6つの構造的テストを通じて、モデルの感受性を検出するための注意深く構築された偽物（foils）を用いる。厳密な偽物の妥当性検証にもかかわらず、現在のモデルは弱いパフォーマンスを示しており、タスク固有の微調整を超えた言語一般化における深刻なギャップを露呈している。

ABSTRACT

We propose VALSE (Vision And Language Structured Evaluation), a novel benchmark designed for testing general-purpose pretrained vision and language (V&L) models for their visio-linguistic grounding capabilities on specific linguistic phenomena. VALSE offers a suite of six tests covering various linguistic constructs. Solving these requires models to ground linguistic phenomena in the visual modality, allowing more fine-grained evaluations than hitherto possible. We build VALSE using methods that support the construction of valid foils, and report results from evaluating five widely-used V&L models. Our experiments suggest that current models have considerable difficulty addressing most phenomena. Hence, we expect VALSE to serve as an important benchmark to measure future progress of pretrained V&L models from a linguistic perspective, complementing the canonical task-centred V&L evaluations.

研究の動機と目的

• タスク固有のベンチマークを超えて、視覚・言語モデルの言語現象への感受性を細分化して評価するための不足を補うこと。
• タスク固有のアノテーションに依存せずに、意味的数、語順、共参照などの言語的構造を分離して診断するベンチマークを開発すること。
• 自動手法（MLM、NLI）と人間による検証、頻度のバランスを組み合わせることで、偽物の妥当性を保証し、データのアーチファクトを最小限に抑えること。
• 再トレーニングを必要とせず、既存の事前学習済みモデルと互換性のあるゼロショット評価フレームワークを提供すること。
• 多様な言語現象における言語接地能力を測れる、リソースに余裕のない信頼性の高いベンチマークを確立すること。

提案手法

• VALSEは、それぞれが異なる言語現象に焦点を当てた6つのテストを構築する：存在、複数、数え上げ、空間的関係、行動、共参照。
• 各テストでは、キャプションと、特定の言語的変更（例：存在の否定、数詞の置換、作用関係の入れ替え）により作成された偽物をペアで提示する。
• 偽物の妥当性は、マスクド言語モデリング（MLM）、自然言語推論（NLI）、および人間によるアノテーションを用いて検証され、意味的妥当性と言語的正確性を確認する。
• キャプションと偽物間の語の頻度分布を、ジェンセン・ショーンナー・ダイバージェンスを用いてバランスさせ、統計的バイアスを回避する。
• アノテーションコストを最小限に抑えつつデータ品質を最大化するため、既存の画像キャプションおよびVQAデータセット（例：MSCOCO、Visual7W）を活用する。
• 評価はゼロショットである：モデルは再トレーニングを経ずに、標準的な予測ヘッドを用いて、本物のキャプションと偽物を区別する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの視覚・言語モデルは、視覚的文脈において意味的数や語順といった微細な言語的違いをどれだけ検出できるか？
• RQ2 言語現象が操作された状況で、モデルは意味的に妥当な偽物と本物のキャプションを信頼性を持って区別できるか？
• RQ3 MLM、NLI、人間による検証といった、さまざまな偽物生成戦略が、ベンチマークの妥当性と頑健性にどのように影響するか？
• RQ4 現在の視覚・言語モデルは、標準的なタスクで良好なパフォーマンスを示しても、言語現象の接地に体系的な失敗を示すか？
• RQ5 キャプションと偽物間で語の頻度分布に顕著なバイアスがあると、モデルを誤導するおそれがあるか？

主な発見

• 現在の視覚・言語モデルは、VALSEの6つのテストすべてで一貫して弱いパフォーマンスを示しており、言語現象の接地能力に制限があることが示された。
• 人間による検証後も、キャプションと偽物間の語の頻度分布のジェンセン・ショーンナー・ダイバージェンスが安定したままであり、最小限の統計的バイアスが確認された。
• 人間による検証を経た偽物は、アノテーター間で高い合意度を示し、ベンチマークの信頼性が著しく向上した。
• テキストのみに依存するモデル（例：マスクド言語モデリング）は、視覚的偽物タスクで著しく低いパフォーマンスを示しており、視覚的接地が簡単に学習されないことが示唆された。
• NLIとMLMを用いた偽物検証は、妥当でないか意味的に一貫性のない偽物を効果的にフィルタリングするのに有効であった。
• 全体として、ベンチマークは、視覚的文脈が利用可能であっても、最先端のモデルが言語の微細なニュアンスを扱うのに苦労していることを明らかにした。これは、より言語に敏感な学習と評価の必要性を強調している。