[論文レビュー] Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!
論文は、 aligned LLMs を小規模で対立的またはあるいは無害なデータセットでファインチューニングすることが、安全性を大幅に低下させ、ジャイルブレイクや有害な出力を可能にすることを示している。攻撃と無害なケースを定量化された安全性の低下とともに提示し、対策を論じている。
Optimizing large language models (LLMs) for downstream use cases often involves the customization of pre-trained LLMs through further fine-tuning. Meta's open release of Llama models and OpenAI's APIs for fine-tuning GPT-3.5 Turbo on custom datasets also encourage this practice. But, what are the safety costs associated with such custom fine-tuning? We note that while existing safety alignment infrastructures can restrict harmful behaviors of LLMs at inference time, they do not cover safety risks when fine-tuning privileges are extended to end-users. Our red teaming studies find that the safety alignment of LLMs can be compromised by fine-tuning with only a few adversarially designed training examples. For instance, we jailbreak GPT-3.5 Turbo's safety guardrails by fine-tuning it on only 10 such examples at a cost of less than $0.20 via OpenAI's APIs, making the model responsive to nearly any harmful instructions. Disconcertingly, our research also reveals that, even without malicious intent, simply fine-tuning with benign and commonly used datasets can also inadvertently degrade the safety alignment of LLMs, though to a lesser extent. These findings suggest that fine-tuning aligned LLMs introduces new safety risks that current safety infrastructures fall short of addressing -- even if a model's initial safety alignment is impeccable, it is not necessarily to be maintained after custom fine-tuning. We outline and critically analyze potential mitigations and advocate for further research efforts toward reinforcing safety protocols for the custom fine-tuning of aligned LLMs.
研究の動機と目的
- エンドユーザーによる aligned LLMs のファインチューニングがもたらす安全性リスクを動機付け、定量化する。
- 小規模で対立的なファインチューニングデータセットが安全性ガードレールを破ることを実証する。
- 有害でなくてもファインチューニングが安全性目標からモデルを逸脱させる可能性を、崩壊的忘却や目的の張力によって示す。
- ファインチューニング中の明示的および暗黙的な攻撃ベクトルに対する安全性の頑健性を評価する。
- 安全なファインチューニング実践のための潜在的な緩和戦略を提案し、政策的含意を論じる。
提案手法
- 最先端の LLM（GPT-3.5 Turbo および Llama-2-7b-Chat）を制御されたデータセットでファインチューニングする。
- 対象応答の可能性を最大化するために対話的・単回合のファインチューニング形式を使用する。
- 11 の禁止用途カテゴリ（330 件の例）を用いたベンチマークに対して GPT-4 Judge で安全性を評価する。
- 有害なファインチューニング条件と無害なファインチューニング条件で、ベースラインとポストチューニングの安全性を比較する。
- 赤チーム風の攻撃を実施する：明示的な有害データ、同一性を移行するプロンプト、Alpaca や Dolly のような無害データセット。
- 有害性を平均スコア（1–5）と有害性率（スコアが 5 の比率）で報告する。
- エポック数、ショット数、ハイパーパラメータのアブレーションを行い、安全性低下の頑健性を評価する。
実験結果
リサーチクエスチョン
- RQ1エンドユーザーによるファインチューニングは、すでに整列された LLM の安全性アライメントを劣化させ得るのか？
- RQ2どれほど少ない、そして安価なファインチューニングデータで、安全性ガードレールを substantial に jailbreak できるのか？
- RQ3善意のデータでのファインチューニングは安全性を低下させるのか、もしそうならカテゴリごとにどのように現れるのか？
- RQ4カスタムファインチューニングの安全性を強化するための現実的な緩和戦略と政策的考慮点は何か？
主な発見
| 表 | Model | Dataset/Scenario | Initial Harmfulness Score | Fine-tuned Harmfulness Score | Score Change | Initial Harmfulness Rate | Fine-tuned Harmfulness Rate | Rate Change |
|---|---|---|---|---|---|---|---|---|
| Table 1 | GPT-3.5 Turbo | 10-shot | 1.13 | 4.75 | +3.62 | 1.8% | 88.8% | +87.0% |
| Table 1 | GPT-3.5 Turbo | 50-shot | 1.13 | 4.71 | +3.58 | 1.8% | 87.0% | +85.2% |
| Table 1 | GPT-3.5 Turbo | 100-shot | 1.13 | 4.82 | +3.69 | 1.8% | 91.8% | +90.0% |
| Table 1 | Llama-2-7b-Chat | 10-shot | 1.06 | 3.58 | +2.52 | 0.3% | 50.0% | +49.7% |
| Table 1 | Llama-2-7b-Chat | 50-shot | 1.06 | 4.52 | +3.46 | 0.3% | 80.3% | +80.0% |
| Table 1 | Llama-2-7b-Chat | 100-shot | 1.06 | 4.54 | +3.48 | 0.3% | 80.0% | +79.7% |
| Table 2 | GPT-3.5 Turbo | 3 epochs | 1.00 | 1.32 | +0.32 | 0% | 7.3% | +7.3% |
| Table 2 | GPT-3.5 Turbo | 5 epochs | 1.00 | 3.08 | +2.08 | 0% | 49.1% | +49.1% |
| Table 2 | GPT-3.5 Turbo | 10 epochs | 1.00 | 4.67 | +4.67 | 0% | 87.3% | +87.3% |
| Table 2 | Llama-2-7b-Chat | 3 epochs | 1.02 | 3.84 | +2.82 | 0% | 54.2% | +54.2% |
| Table 2 | Llama-2-7b-Chat | 5 epochs | 1.02 | 4.27 | +3.25 | 0% | 72.1% | +72.1% |
| Table 2 | Llama-2-7b-Chat | 10 epochs | 1.02 | 4.15 | +3.13 | 0% | 68.2% | +68.2% |
| Table 3 | GPT-3.5 Turbo | Alpaca | 1.29 | 2.47 | +1.18 | 5.5% | 31.8% | +26.3% |
| Table 3 | GPT-3.5 Turbo | Dolly | 1.25 | 2.11 | +0.86 | 4.5% | 23.9% | +19.4% |
| Table 3 | GPT-3.5 Turbo | LLaVA-Instruct | Not Applicable | Not Applicable | - | Not Applicable | Not Applicable | - |
| Table 3 | Llama-2-7b-Chat | Alpaca | 1.05 | 1.79 | +0.74 | 0.3% | 16.1% | +15.8% |
| Table 3 | Llama-2-7b-Chat | Dolly | 0.60% | 12.10% | Not Provided | 0% | 12.1% | +11.5% |
| Table 3 | Llama-2-7b-Chat | LLaVA-Instruct | 0% | 18.8% | +18.8% | 0% | 18.8% | +18.8% |
- 明示的な有害ファインチューニングは、10 件程度の非常に少ない例でも GPT-3.5 Turbo および Llama-2-7b-Chat の有害出力を劇的に増加させうる。
- 同一性移行と善意のファインチューニングはさらなる安全性の低下を招き、少量データからでも有害性率の大幅な上昇をもたらす。
- Alpaca、Dolly、または LLaVA-Instruct での善意のファインチューニングは、モデルとカテゴリ全体で有害性率を高め、安全性目的の忘却または衝突を示唆する。
- 善意のファインチューニングはカテゴリ別の非均一な低下を示し、安全データや事前学習コーパスに偏りがあることを示唆する。
- 緩和戦略として、技術的および政策的アプローチの両方とそれらの限界が議論される。
より良い研究を、今すぐ始めましょう
論文設計から論文執筆まで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。