[논문 리뷰] LoRA Fine-tuning Efficiently Undoes Safety Training in Llama 2-Chat 70B
논문은 LoRA 미세조정이 공개 Llama 2-Chat 가중치에서 7B, 13B, 70B 모델의 안전 가드를 상당히 약화시킬 수 있으며, 70B 모델에서 유해한 프롬프트에 대한 거절이 1% 미만으로 낮아지는 한편 일반 성능은 유지된다.
AI developers often apply safety alignment procedures to prevent the misuse of their AI systems. For example, before Meta released Llama 2-Chat - a collection of instruction fine-tuned large language models - they invested heavily in safety training, incorporating extensive red-teaming and reinforcement learning from human feedback. We explore the robustness of safety training in language models by subversively fine-tuning Llama 2-Chat. We employ quantized low-rank adaptation (LoRA) as an efficient fine-tuning method. With a budget of less than \$200 and using only one GPU, we successfully undo the safety training of Llama 2-Chat models of sizes 7B, 13B, and 70B and on the Mixtral instruct model. Specifically, our fine-tuning technique significantly reduces the rate at which the model refuses to follow harmful instructions. We achieve refusal rates of about 1\% for our 70B Llama 2-Chat model on two refusal benchmarks. Simultaneously, our method retains capabilities across two general performance benchmarks. We show that subversive fine-tuning is practical and effective, and hence argue that evaluating risks from fine-tuning should be a core part of risk assessments for releasing model weights. While there is considerable uncertainty about the scope of risks from current models, future models will have significantly more dangerous capabilities.
연구 동기 및 목표
- 모델 가중치에 접근 가능한 상태에서 안전 학습의 강건성을 평가한다.
- LoRA 기반의 서브버시브 파인튜닝이 Llama 2-Chat 모델(7B, 13B, 70B)에서 안전 조치를 무력화시킬 수 있음을 입증한다.
- 비해롭지 않은 작업에 대한 모델의 성능에 대한 영향을 평가하고 공개 가중치 공개 위험에 대한 논의를 제공한다.
제안 방법
- 8비트 양자화를 사용한 LoRA(저랭크 적응)로 제한된 예산(<$200)과 단일 GPU에서 Llama 2-Chat 모델을 파인튜닝한다.
- 베이스 모델을 동결하고 양자화하며, LoRA 매개변수(A 및 B 매트릭스)만 학습한다.
- RefusalBench와 AdvBench를 사용해 유해 프롬프트에 대한 거절을 측정하고, 일반 성능 확인을 위해 MMLU와 HellaSwag를 사용한다.
- 거절을 감지하기 위해 간단한 패턴 매칭을 적용하고 인간 주석으로 검증한다.
- LoRA 미세조정 모델을 안전 및 일반 작업 벤치마크에서 기준 Llama 2-Chat 모델과 비교한다.

실험 결과
연구 질문
- RQ1LoRA를 통한 서브버시브 미세조정이 공개 가용 Llama 2-Chat 가중치의 안전 학습을 지워버릴 수 있는가?
- RQ2다양한 모델 크기에서 그러한 미세조정이 모델이 유해 프롬프트를 거절하는 능력에 미치는 영향은 무엇인가?
- RQ3서브버시브 LoRA 미세조정이 일반 작업 성능(비안전 작업)을 원래 모델에 비해 저하시키는가?
- RQ4모델 가중치의 공개 및 서브버시브 미세조정 기법의 이용 가능성으로 인해 어떤 윤리적·보안적 고려가 발생하는가?
주요 결과
- LoRA 미세조정은 7B, 13B, 및 70B Llama 2-Chat 모델의 유해 프롬프트에 대한 거절률을 상당히 감소시킬 수 있다.
- 70B LoRA-튜닝 모델은 두 벤치마크(AdvBench/RefusalBench)에서 유해 프롬프트에 대해 1% 미만의 거절을 보였다.
- 원래의 70B Llama 2-Chat 모델과 비교해 거절 개선 효과가 유지된다(원본의 RefusalBench에서 78.9% 거절 vs LoRA-튜닝 0.4-0.5%).
- 일반 성능은 유지되거나 약간 향상된다(MMLU: 0.62→0.63; HellaSwag: 0.82→0.83) - 70B 모델에서.
- 필요한 하드웨어가 최소화되며(하나의 GPU, <$200) 8비트 양자화를 사용하여 70-80 GB VRAM이 요구된다.
- 저자는 공개 가중치 릴리스의 위험성을 강조하고 안전 평가에 미세조정 위험 평가를 포함할 것을 제안한다.

이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.