[論文レビュー] Keeping LLMs Aligned After Fine-tuning: The Crucial Role of Prompt Templates

Kaifeng Lyu, Haoyu Zhao+4 more|arXiv (Cornell University)|Feb 28, 2024

Taxation and Legal IssuesBusiness, Management and Accounting被引用数 3

ひとこと要約

本稿では、微調整後の安全なアライメントを維持するための、純粋なチューニングと安全なテスト（PTST）原則を提案する。安全プロンプトを微調整段階で使用せずに、推論段階でのみ適用することで、PTSTは、Alpaca や GSM8K といった良性のデータセットで微調整されたモデルですら、危険な行動を著しく低減または完全に排除する。これにより、下流タスクのパフォーマンスを維持したまま安全な挙動を実現する。

ABSTRACT

Public LLMs such as the Llama 2-Chat underwent alignment training and were considered safe. Recently Qi et al. [2024] reported that even benign fine-tuning on seemingly safe datasets can give rise to unsafe behaviors in the models. The current paper is about methods and best practices to mitigate such loss of alignment. We focus on the setting where a public model is fine-tuned before serving users for specific usage, where the model should improve on the downstream task while maintaining alignment. Through extensive experiments on several chat models (Meta's Llama 2-Chat, Mistral AI's Mistral 7B Instruct v0.2, and OpenAI's GPT-3.5 Turbo), this paper uncovers that the prompt templates used during fine-tuning and inference play a crucial role in preserving safety alignment, and proposes the ``Pure Tuning, Safe Testing'' (PTST) strategy -- fine-tune models without a safety prompt, but include it at test time. This seemingly counterintuitive strategy incorporates an intended distribution shift to encourage alignment preservation. Fine-tuning experiments on GSM8K, ChatDoctor, and OpenOrca show that PTST significantly reduces the rise of unsafe behaviors.

研究の動機と目的

• 微調整された安全なLLMが、見かけ上良性のデータセットで微調整されることで安全面の劣化が生じる理由を調査すること。
• プロンプトテンプレートが微調整中および微調整後における安全なアライメントの維持に果たす役割を特定すること。
• モデルの有用性を維持しながら、微調整後の危険な行動を最小限に抑える実用的な手法を提案すること。
• Llama 2-Chat、Mistral 7B Instruct、GPT-3.5 Turbo を含む複数のLLMに対して、PTSTの有効性を評価すること。
• 微調整と推論のテンプレート間の分布シフトを活用して安全性を向上させられるという実証的証拠を提供すること。

提案手法

• 微調整段階では、ユーザーの指示と入力を使用するのみで、安全プロンプトを一切省略する。
• 推論段階でのみ、標準化された安全プロンプトを適用する。このプロンプトは、微調整時に使用されていなくてもよい。
• すべての実験で推論に同じプロンプトテンプレートを使用することで、安全性の評価を一貫性を持って行う。
• AdvBench や DirectHarm4 などのベンチマークから得た悪意あるプロンプトを用いて、安全性の劣化を攻撃成功確率（ASR）で測定する。
• 微調整と推論の両方で同じプロンプトテンプレートを使用する標準的な微調整手法と、PTSTを比較する。
• GSM8K、ChatDoctor、OpenOrca などの複数のデータセットおよびモデルを用いたアブレーションスタディにより、堅牢性を検証する。

実験結果

リサーチクエスチョン

• RQ1 安全プロンプトを微調整段階で使用しても、訓練データが良性であっても、モデルの安全アライメントが劣化するのか？
• RQ2 微調整段階では安全プロンプトを省略し、推論段階でのみ保持することで、微調整後の安全性が向上するのか？
• RQ3 微調整段階でのプロンプトテンプレートの選択が、異なる推論テンプレートへの一般化にどのように影響するのか？
• RQ4 標準的な微調整と比較して、PTSTは有害なクエリに対する攻撃成功確率（ASR）をどの程度低減するのか？
• RQ5 なぜ安全プロンプトを微調整時に使用しないことで、安全な一般化が標準的な手法よりも向上するのか？

主な発見

• PTSTは有害なクエリに対する攻撃成功確率（ASR）を顕著に低減し、一部のケースでは危険な挙動がほぼ完全に排除された。
• Alpaca などの良性データセットで安全プロンプトを用いて微調整しても、安全性が低下する場合があり、安全プロンプトなしで微調整した場合よりも危険性が高くなることがある。
• GSM8K では、PTSTは高い有用性（AlpacaEvalスコア78.5）を維持しながら、ASRを標準的な微調整の42.5％から12.5％にまで低減した。
• ChatDoctorベンチマークでは、PTSTによりASRが35.0％から10.0％に低下した。
• 安全にアライメントされた例を含むデータセットで微調整しても、PTSTは標準的手法に比べて明確な安全性の向上を示した。
• 結果から、微調整段階での安全プロンプトの使用が、学習されたアライメントを干渉させ、その代わりに推論段階での安全プロンプト適用により、より良い安全性の一般化が達成される可能性があることが示唆された。