[論文レビュー] Safety Fine-Tuning at (Almost) No Cost: A Baseline for Vision Large Language Models

Yongshuo Zong, Ondrej Bohdal+3 more|arXiv (Cornell University)|Feb 3, 2024

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、ビジョン・ランゲージ・モデル（VLLM）の微調整に向けた、安全な指示従いのための視覚言語データセットであるVLGuardを紹介する。VLGuardを用いた事後微調整またはミックス微調整を適用することで、VLLMは著しく安全性が向上し、脱獄攻撃の成功率がほぼゼロにまで低下する一方で、有用性は維持または向上させることが可能となり、VLLMの安全性整列に低コストで効果的なベースラインを提供する。

ABSTRACT

Current vision large language models (VLLMs) exhibit remarkable capabilities yet are prone to generate harmful content and are vulnerable to even the simplest jailbreaking attacks. Our initial analysis finds that this is due to the presence of harmful data during vision-language instruction fine-tuning, and that VLLM fine-tuning can cause forgetting of safety alignment previously learned by the underpinning LLM. To address this issue, we first curate a vision-language safe instruction-following dataset VLGuard covering various harmful categories. Our experiments demonstrate that integrating this dataset into standard vision-language fine-tuning or utilizing it for post-hoc fine-tuning effectively safety aligns VLLMs. This alignment is achieved with minimal impact on, or even enhancement of, the models' helpfulness. The versatility of our safety fine-tuning dataset makes it a valuable resource for safety-testing existing VLLMs, training new models or safeguarding pre-trained VLLMs. Empirical results demonstrate that fine-tuned VLLMs effectively reject unsafe instructions and substantially reduce the success rates of several black-box adversarial attacks, which approach zero in many cases. The code and dataset are available at https://github.com/ys-zong/VLGuard.

研究の動機と目的

• ビジョン・ランゲージの指示微調整中に不適切なデータが使用されることによって生じる、VLLMの脱獄攻撃および有害なコンテンツ生成に対する重大な脆弱性に対処すること。
• ビジョン・ランゲージデータで大規模言語モデル（LLM）を微調整すると、元々の安全性整列が損なわれ、有害な出力を引き起こしやすくなることを特定すること。
• 有用性を損なわず、効果的なVLLMの安全性整列を可能にする、専用で多様性のある安全性データセット（VLGuard）を開発すること。
• 既存のVLLMトレーニングパイプラインに最小限の計算コストで統合可能な、実用的な2つの微調整戦略（事後微調整およびミックストレーニング）を提案すること。
• VLLMの安全性を評価するベンチマークを確立し、将来のマルチモーダルLLMにおける強力な安全性メカニズムの基盤を提供すること。

提案手法

• 多様な有害なカテゴリをカバーする視覚言語安全指示従いデータセットであるVLGuardを収集し、テキストのみの例や視覚言語の攻撃的例を含む。
• 事後微調整を適用し、初期事前学習およびビジョン・ランゲージの整列を終えた後、VLLMをVLGuardデータで微調整することで、元の能力を保持する。
• ミックス微調整を実装し、標準的なビジョン・ランゲージデータとVLGuardデータを同時に学習させることで、エンドツーエンドの安全性統合を実現する。
• 全パラメータ微調整とLoRA（低ランク適応）の両方を用いて、さまざまなトレーニング体制およびモデルアーキテクチャとの互換性を確保する。
• ブラックボックス脱獄攻撃、特にプロンプト工学や画像ベースのトリガーを含む攻撃に対する耐性をテストする包括的な評価スイートを設計する。
• 既存の安全性整列済みLLMをベースとして活用し、ビジョン・ランゲージ微調整の過程で安全性整列が上書きされず、強化されることを保証する。

実験結果

リサーチクエスチョン

• RQ1 VLLMを構築するためにビジョン・ランゲージの指示微調整が使われる際、事前学習済みLLMの安全性整列がどの程度劣化するか？
• RQ2 専用で小規模なビジョン・ランゲージ安全データセットが、有用性やパフォーマンスの低下を招かずに、VLLMの安全性を効果的に向上させられるか？
• RQ3 事後微調整およびミックス微調整戦略は、ブラックボックス脱獄攻撃に対してVLLMの耐性をどの程度向上させられるか？
• RQ4 提案された安全性微調整戦略は、さまざまなVLLMアーキテクチャおよびパラメータスケールに一般化可能か？
• RQ5 トレーニング中に安全性整列を統合するのと、後続ステップとして適用するのとでは、安全性とパフォーマンスのトレードオフにどのような影響があるか？

主な発見

• VLGuardを用いたVLLMの微調整により、ブラックボックス脱獄攻撃の成功率がほぼゼロにまで低下し、一部のモデルでは不適切な指示の拒否率が100%に達した。
• LLaVA-v1.5-13Bにおける事後微調整により、Safe-Unsafeカテゴリでの不適切出力率が96.67%から100%まで低下し、明確な整列改善が示された。
• MiniGPT-v2におけるミックス微調整戦略により、Unsafeカテゴリでの不適切出力率が90.00%から42.00%まで低下し、異なるモデルアーキテクチャでも有効性が確認された。
• VLGuardによる安全性整列は、有用性を維持またはわずかに向上させ、標準的なビジョン・ランゲージベンチマークでのパフォーマンスに顕著な低下は見られなかった。
• 計算コストが低く、たった2,000枚の収集済み画像で十分であり、LoRAおよび全微調整の両方と互換性がある。
• データセットおよび微調整戦略は、LLaVAやMiniGPTを含む複数のモデルで有効であることが確認され、広範な適用可能性とスケーラビリティを示している。