[論文レビュー] VLUE: A Multi-Task Benchmark for Evaluating Vision-Language Models

Wangchunshu Zhou, Yan Zeng+2 more|arXiv (Cornell University)|May 30, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文は、一般化性能と効率性-性能のトレードオフを評価するためのマルチタスクベンチマークVLUEを紹介する。文化的に多様な画像から得られた分布外（OOD）のテストセットを特徴とし、顕著な一般化ギャップを明らかにするとともに、精度以外の観点からも優れたモデルのトレードオフが明らかになることを示している。

ABSTRACT

Recent advances in vision-language pre-training (VLP) have demonstrated impressive performance in a range of vision-language (VL) tasks. However, there exist several challenges for measuring the community's progress in building general multi-modal intelligence. First, most of the downstream VL datasets are annotated using raw images that are already seen during pre-training, which may result in an overestimation of current VLP models' generalization ability. Second, recent VLP work mainly focuses on absolute performance but overlooks the efficiency-performance trade-off, which is also an important indicator for measuring progress. To this end, we introduce the Vision-Language Understanding Evaluation (VLUE) benchmark, a multi-task multi-dimension benchmark for evaluating the generalization capabilities and the efficiency-performance trade-off (``Pareto SOTA'') of VLP models. We demonstrate that there is a sizable generalization gap for all VLP models when testing on out-of-distribution test sets annotated on images from a more diverse distribution that spreads across cultures. Moreover, we find that measuring the efficiency-performance trade-off of VLP models leads to complementary insights for several design choices of VLP. We release the VLUE benchmark to promote research on building vision-language models that generalize well to more diverse images and concepts unseen during pre-training, and are practical in terms of efficiency-performance trade-off.

研究の動機と目的

• COCO/VGデータセットにおけるドメイン内評価によるビジョン・ランゲージモデルの一般化性能の過大評価を是正すること。
• ビジョン・ランゲージ事前学習における効率性-性能トレードオフを測定し、実用的なモデルデプロイメントを促進すること。
• 絶対的性能を超えた多次元的な進捗を追跡するための標準化されたベンチマークを確立すること。
• 公開可能なベンチマークとしてOODテストセットを提供し、耐性があり効率的なビジョン・ランゲージモデルに関する研究を促進すること。

提案手法

• ネイティブスピーカーによって文化的に多様な地域から収集されたマーブル（MaRVL）データセットの画像を用いて、新たな分布外（OOD）テストセットをアノテーションすること。
• ドメイン内とOODの両セットで同一のアノテーションプロトコルを維持することで、ラベル分布の公平な比較を保証すること。
• 画像・テキスト検索、VQA、視覚的推論、視覚的グランドイングの4つのタスクにおいて、7つの代表的ビジョン・ランゲージモデルをベンチマーク化すること。
• 固定されたハードウェア環境（1x V100 GPU、バッチサイズ1）で推論時間を測定し、効率性-性能トレードオフを評価すること。
• パレート最適フロントを用いて性能と推論時間の両面でモデルを比較し、両方の次元で他を上回るモデルを同定すること。
• ベンチマーク、データ、コードを公開することで、再現可能性およびコミュニティ全体の評価を支援すること。

実験結果

リサーチクエスチョン

• RQ1 文化的に多様なソースからの分布外画像で評価された場合、ビジョン・ランゲージモデルはどのように性能を示すか？
• RQ2 ドメイン内性能と分布外一般化性能の間には、どの程度の相関関係があるか？
• RQ3 オブジェクト検出とビジョントランスフォーマーの両方のビジョン特徴抽出手法は、効率性-性能トレードオフにどのように影響するか？
• RQ4 VLUEのような多次元ベンチマークは、絶対的性能だけに依存する評価よりも、より洗練されたインサイトを明らかにできるか？

主な発見

• すべての評価対象モデルにおいて、OODテストセットでの顕著な一般化ギャップが確認され、分布シフトに対して脆弱であることが示された。
• ドメイン内性能とOOD性能のピアソン相関係数は0.75であり、中程度の相関関係であるが完全ではないことを示唆しており、OOD評価の必要性を強調している。
• 画像エンコーダーとしてビジョントランスフォーマーを用いるモデルは、オブジェクト検出特徴に依存するモデルよりも優れた効率性-性能トレードオフを達成している。
• VL-T5はALBEFに比べて平均推論時間が2.4倍長く、性能は僅かに低いにもかかわらず、効率性に配慮した評価が重要であることを示している。
• 画像キャプション生成モデル（OFAやVL-T5など）は、OODセットで顕著な性能低下（例：CIDERスコアが140.7から71.2に低下）を示しており、COCO特有の特徴に依存している可能性がある。
• 本ベンチマークにより、性能と効率性の両面でSOTAモデルを上回るパレート最適なモデルが存在することが明らかになった。これは、精度のみに依存する指標の優位性に疑問を呈するものである。