[論文レビュー] LoRA Fine-tuning Efficiently Undoes Safety Training in Llama 2-Chat 70B
本論文は、公開された Llama 2-Chat ウェイトに対する LoRA ファインチューニングが、7B、13B、70B のモデル全体で安全対策を大幅に削減しうることを示す。70B モデルでは有害なプロンプトに対する拒否率を 1% 未満に抑えつつ、一般的なパフォーマンスを維持する。
AI developers often apply safety alignment procedures to prevent the misuse of their AI systems. For example, before Meta released Llama 2-Chat - a collection of instruction fine-tuned large language models - they invested heavily in safety training, incorporating extensive red-teaming and reinforcement learning from human feedback. We explore the robustness of safety training in language models by subversively fine-tuning Llama 2-Chat. We employ quantized low-rank adaptation (LoRA) as an efficient fine-tuning method. With a budget of less than \$200 and using only one GPU, we successfully undo the safety training of Llama 2-Chat models of sizes 7B, 13B, and 70B and on the Mixtral instruct model. Specifically, our fine-tuning technique significantly reduces the rate at which the model refuses to follow harmful instructions. We achieve refusal rates of about 1\% for our 70B Llama 2-Chat model on two refusal benchmarks. Simultaneously, our method retains capabilities across two general performance benchmarks. We show that subversive fine-tuning is practical and effective, and hence argue that evaluating risks from fine-tuning should be a core part of risk assessments for releasing model weights. While there is considerable uncertainty about the scope of risks from current models, future models will have significantly more dangerous capabilities.
研究の動機と目的
- モデルのウェイトが公開されている場合の安全訓練の頑健性を評価する。
- LoRA ベースのサブバージョン的ファインチューニングが Llama 2-Chat モデル(7B、13B、70B) の安全対策を覆すことを示す。
- 非有害タスクでのモデル性能への影響を評価し、公開ウェイト公開のリスクに関する議論を提供する。
提案手法
- LoRA (low-rank adaptation) を 8-bit 量子化とともに用い、$200 未満の限られた予算と1つの GPU で Llama 2-Chat モデルをファインチューンする。
- ベースモデルをフリーズして量子化する。LoRA パラメータ(A および B 行列)のみを学習する。
- RefusalBench および AdvBench を用いて有害なプロンプトに対する拒否を測定し、一般的な性能は MMLU および HellaSwag で評価する。
- 拒否を検出するために単純なパターンマッチングを適用し、人間の注釈で検証する。
- 安全性と一般タスクのベンチマークで、LoRA ファインチューニング済みモデルをベースラインの Llama 2-Chat モデルと比較する。

実験結果
リサーチクエスチョン
- RQ1LoRA によるサブバージョン的ファインチューニングは、公開公開された Llama 2-Chat モデルのウェイトにおける安全訓練を消し去ることができるのか。
- RQ2このようなファインチューニングが、異なるモデルサイズにおける有害なプロンプトの拒否能力にどのような影響を与えるか。
- RQ3サブバージョン的な LoRA ファインチューニングは、変更されていないモデルと比べて一般タスクの性能(非安全タスク)を低下させるのか。
- RQ4モデルのウェイトの入手可能性とサブバージョン的ファインチューニング技術から生じる倫理的・セキュリティ上の配慮は何か。
主な発見
- LoRA ファインチューニングは、7B、13B、および 70B の Llama 2-Chat モデルにおいて有害なプロンプトに対する拒否率を大幅に低減できる。
- 70B の LoRA 調整モデルは、2つのベンチマーク(AdvBench/RefusalBench)で有害プロンプトの拒否が <1% 以下だった。
- 元の 70B Llama 2-Chat モデルと比較して拒否改善は持続する(RefusalBench の拒否率は元が 78.9%、LoRA-tuned が 0.4-0.5%)。
- 一般的な性能は維持またはわずかに向上(MMLU: 0.62→0.63; HellaSwag: 0.82→0.83)70B モデルで。
- この手法は最小限のハードウェアを必要とする(1つの GPU、200ドル未満)8-bit 量子化(70-80 GB VRAM)。
- 著者は公開ウェイトのリリースリスクを強調し、安全評価にファインチューニングリスク評価を含めることを提唱している。

この論文を読む
Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。
Nubintでこの論文を読むこのレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。