[論文レビュー] How Many Unicorns Are in This Image? A Safety Evaluation Benchmark for Vision LLMs

Haoqin Tu, Chenhang Cui+7 more|arXiv (Cornell University)|Nov 27, 2023

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、視覚言語大規模モデル（VLLMs）の包括的で安全な評価ベンチマークを紹介する。このベンチマークは、分布外（OOD）一般化と敵対的ロバストネスを、2つの新規VQAデータセット（OODCV-VQAとSketchy-VQA）および視覚と言語のコンポonentに対する標的攻撃を用いて評価する。主な発見では、VLLMsはOOD視覚入力の解釈において優れた性能を示すが、OOD言語的摂動では失敗し、視覚エンコーダー攻撃に対して脆弱であり、視覚言語事前学習によって安全プロトコルが弱体化していることが判明した。

ABSTRACT

This work focuses on the potential of Vision LLMs (VLLMs) in visual reasoning. Different from prior studies, we shift our focus from evaluating standard performance to introducing a comprehensive safety evaluation suite, covering both out-of-distribution (OOD) generalization and adversarial robustness. For the OOD evaluation, we present two novel VQA datasets, each with one variant, designed to test model performance under challenging conditions. In exploring adversarial robustness, we propose a straightforward attack strategy for misleading VLLMs to produce visual-unrelated responses. Moreover, we assess the efficacy of two jailbreaking strategies, targeting either the vision or language component of VLLMs. Our evaluation of 21 diverse models, ranging from open-source VLLMs to GPT-4V, yields interesting observations: 1) Current VLLMs struggle with OOD texts but not images, unless the visual information is limited; and 2) These VLLMs can be easily misled by deceiving vision encoders only, and their vision-language training often compromise safety protocols. We release this safety evaluation suite at https://github.com/UCSC-VLAA/vllm-safety-benchmark.

研究の動機と目的

• 視覚言語大規模モデルにおける、OOD一般化と敵対的ロバストネスに関する、体系的な安全評価の欠如に対処すること。
• 視覚的および言語的摂動を含む、多様な障害モードをテストできる包括的ベンチマークの開発。
• 視覚言語事前学習が、整列済み大規模言語モデルにおける安全プロトコルをどのように損なうかの調査。
• 視覚または言語モダリティを標的とする脱獄攻撃の有効性の評価。
• 特にオープンソースおよびクローズドソースモデルにおいて、VLLMの安全性に影響を与えるアーキテクチャ的およびトレーニング設計要因の同定。

提案手法

• 稀な視覚的コンセプトと反事実的記述を用いて、OOD一般化をテストする2つの新規OOD VQAデータセット（OODCV-VQAとSketchy-VQA）を提案。
• CLIP視覚エンコーダーを標的にするシンプルで効果的な攻撃戦略を設計。具体的には、関連のないテキスト的オブジェクトと一致させることで、VLLMの出力を誤導する。
• 白箱攻撃とトランスファー攻撃の2つの脱獄戦略を評価。視覚的および言語的入力の両方を標的にし、毒性の強い指示の誘発能力を評価。
• 21のモデル（オープンソースVLLMとGPT-4Vを含む）を、複数のOODシナリオと攻撃タイプで広範に評価。
• モデルの性能を、さまざまなLLMアーキテクチャ、視覚エンコーダー、ファインチューニング設定の観点から分析し、安全性関連の設計要因を特定。
• 再現可能性と今後の研究を促進するために、ベンチマークスイート（データセットおよびコード）を公開。

実験結果

リサーチクエスチョン

• RQ1 VLLMsは、言語入力が反事実的に摂動された場合、特に視覚的および言語的分布外（OOD）入力に対してどのように動作するか？
• RQ2 CLIP ViTに基づく単純な視覚エンコーダー攻撃は、VLLMsに無関係または誤った出力を生成させるために効果的か？
• RQ3 言語プロンプトを変更せずに、視覚入力のみを操作することで、脱獄攻撃はどの程度効果を示せるか？
• RQ4 なぜ視覚言語事前学習手順が、整列済みLLMsにおける安全プロトコルを弱体化させるのか？また、これはモデル行動にどのように影響を与えるか？
• RQ5 モデルスケール、視覚エンコーダーの種別、データの多様性などのアーキテクチャ的およびトレーニング選択が、VLLMの安全性に最も顕著に影響を与えるか？

主な発見

• VLLMsは、異常なテクスチャ、ポーズ、形状などのOOD視覚入力に対して強い性能を示すが、言語入力が反事実的に摂動された場合には著しく困難を示す。
• GPT-4V やオープンソースVLLMs は、他のモデルと比較して視覚エンコーダー攻撃における攻撃成功率（ASR）が33.5%低いことから、安全メカニズムが有効な場合に強い抵抗性を示している。
• スケッチベースの画像は大きな挑戦をもたらす。単純な「はい／いいえ」質問に対しても、GPT-4V などのモデルは基本的な認識タスクで失敗し、高い誤り率を示す。
• CLIP ViTに基づく単純な攻撃は、アンサンブルベースの攻撃と同等またはより強い成功を示し、視覚エンコーダーの操作そのものが非常に効果的であることを示している。
• 視覚言語事前学習は、LLMsにおける安全プロトコルを一貫して損なう。標準データセットで学習したモデルは、敵対的入力にさらされた際に、有害または無関係な出力を拒否できない。
• InstructBLIP は、類似したアーキテクチャであるMiniGPT4よりも優れた性能を示すが、これは13種類の多様な視覚言語データセットを活用しているためであり、データの多様性と質の重要性が安全性とロバストネスに与える影響を強調している。