[論文レビュー] Benchmarking Robustness of Multimodal Image-Text Models under Distribution Shift

Jielin Qiu, Yi Zhu+6 more|arXiv (Cornell University)|Dec 15, 2022

Multimodal Machine Learning Applications被引用数 8

ひとこと要約

本稿では、5つのタスクを通じて17の画像および16のテキストの摂動手法を用いて、12種類のオープンソースマルチモーダル画像・テキストモデルの分布シフト下での頑健性を評価する包括的なベンチマークを導入する。ズームブラーおよび文字レベルのテキスト摂動が最も深刻なシフトを引き起こすことが特定され、モデルの劣化をよりよく評価するための2つの新しい指標（MMIおよびMOR）を提案する。

ABSTRACT

Multimodal image-text models have shown remarkable performance in the past few years. However, evaluating robustness against distribution shifts is crucial before adopting them in real-world applications. In this work, we investigate the robustness of 12 popular open-sourced image-text models under common perturbations on five tasks (image-text retrieval, visual reasoning, visual entailment, image captioning, and text-to-image generation). In particular, we propose several new multimodal robustness benchmarks by applying 17 image perturbation and 16 text perturbation techniques on top of existing datasets. We observe that multimodal models are not robust to image and text perturbations, especially to image perturbations. Among the tested perturbation methods, character-level perturbations constitute the most severe distribution shift for text, and zoom blur is the most severe shift for image data. We also introduce two new robustness metrics ( extbf{MMI} for MultiModal Impact score and extbf{MOR} for Missing Object Rate) for proper evaluations of multimodal models. We hope our extensive study sheds light on new directions for the development of robust multimodal models. More details can be found on the project webpage: \url{https://MMRobustness.github.io}.

研究の動機と目的

• マルチモーダル画像・テキストモデルの分布シフト下での頑健性を体系的かつ包括的に評価すること。これは、実世界への展開において極めて重要である。
• 画像およびテキストの摂動下におけるマルチモーダル頑健性のための標準化されたベンチマークの不足を是正すること。
• マルチモーダル環境下で、画像およびテキストモダリティの両方において最も深刻な影響を与える摂動タイプを同定すること。
• より正確な評価を可能にするために、2つの新しい頑健性指標（MMI：マルチモーダルインパクトスコア、MOR：欠落物体率）を導入すること。
• 注意機構の可視化および最適輸送整合性分析を用いて、性能劣化の背後にある要因を解釈するインサイトを提供すること。

提案手法

• COO、Flicker30K、NLVR2、SNLI-VE、COCOなどの既存データセットに、17種類の画像摂動（例：ぼかし、ノイズ、ピクセル化）および16種類のテキスト摂動（例：スペルミス、同義語交換、OCRエラー）を適用することで、マルチモーダル頑健性ベンチマークを構築した。
• 画像・テキスト検索、視覚的推論、視覚的含意、画像キャプション生成、テキストから画像生成の5つのタスクにおいて、12種類のオープンソースマルチモーダルモデルを評価した。
• 分布シフト下での全5タスクにおける相対的性能低下を定量化するため、マルチモーダルインパクトスコア（MMI）を提案した。
• 特にテキストから画像生成の頑健性評価に特化して設計された、オープンセット言語誘導型オブジェクト検出に基づく欠落物体率（MOR）指標を導入した。
• 摂動下でのモデル行動の変化を解釈するために、注意可視化および最適輸送整合性分析を用いた。
• プロジェクトウェブサイト（https://MMRobustness.github.io）を通じて、コード、データセット、結果を公開した。

実験結果

リサーチクエスチョン

• RQ1 どの画像およびテキストの摂動タイプがマルチモーダルモデルに最も深刻な分布シフトを引き起こすか？
• RQ2 さまざまな画像およびテキスト摂動下で、複数の下流タスクにおける異なるマルチモーダルモデルの性能はどのように変化するか？
• RQ3 画像およびテキストの摂動がマルチモーダルモデルの性能にどの程度劣化を引き起こすか、またどちらのモダリティがより感受性が高いか？
• RQ4 提案されたMMIおよびMOR指標は、マルチモーダルシステムにおける頑健性劣化を効果的に捉えられるか？
• RQ5 摂動下での性能低下の背後にある根本的要因は何か。また、注意機構および整合性メカニズムはそれらを説明するのにどのように寄与するか？

主な発見

• マルチモーダルモデルは分布シフト下で顕著に性能を低下させ、画像摂動による劣化がテキスト摂動よりも深刻であることが判明した。
• 画像摂動の中で、ズームブラーが特に画像キャプション生成およびテキストから画像生成タスクにおいて、モデル性能の劣化を最も強く引き起こした。
• テキスト摂動においては、文字レベルの変更（例：スペルミス、キーボードエラー）が単語レベルや文レベルの変更よりも強い負の影響を与えた。
• 提案されたMMI指標は、モデルおよびタスク間での相対的頑健性を効果的に捉えており、摂動下での一貫した性能劣化トレンドを示した。
• MOR指標は、テキストから画像生成モデルが摂動、特に文字レベルの編集を受けると、プロンプトに記載されたオブジェクトを正しく生成できない頻度が高いことを明らかにした。
• 注意可視化および最適輸送分析から、摂動が視覚的特徴とテキストトークン間のクロスモダリティ注意の整合性を著しく乱していることが示された。