[논문 리뷰] Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!

Xiangyu Qi, Yi Zeng외 5명|arXiv (Cornell University)|2023. 10. 05.

Adversarial Robustness in Machine Learning인용 수 40

한 줄 요약

이 논문은 미세 조정된 aligned LLM이 작고 적대적이거나 심지어 정상적인 데이터 세트와 함께 사용될 때 안전성을 크게 악화시켜 탈출(jailbreaking)과 해로운 출력이 가능해진다는 것을 보여주고, 정량화된 안전성 저하를 제시하는 공격 및 정상 사례를 제공하며 완화책을 논의한다.

ABSTRACT

Optimizing large language models (LLMs) for downstream use cases often involves the customization of pre-trained LLMs through further fine-tuning. Meta's open release of Llama models and OpenAI's APIs for fine-tuning GPT-3.5 Turbo on custom datasets also encourage this practice. But, what are the safety costs associated with such custom fine-tuning? We note that while existing safety alignment infrastructures can restrict harmful behaviors of LLMs at inference time, they do not cover safety risks when fine-tuning privileges are extended to end-users. Our red teaming studies find that the safety alignment of LLMs can be compromised by fine-tuning with only a few adversarially designed training examples. For instance, we jailbreak GPT-3.5 Turbo's safety guardrails by fine-tuning it on only 10 such examples at a cost of less than $0.20 via OpenAI's APIs, making the model responsive to nearly any harmful instructions. Disconcertingly, our research also reveals that, even without malicious intent, simply fine-tuning with benign and commonly used datasets can also inadvertently degrade the safety alignment of LLMs, though to a lesser extent. These findings suggest that fine-tuning aligned LLMs introduces new safety risks that current safety infrastructures fall short of addressing -- even if a model's initial safety alignment is impeccable, it is not necessarily to be maintained after custom fine-tuning. We outline and critically analyze potential mitigations and advocate for further research efforts toward reinforcing safety protocols for the custom fine-tuning of aligned LLMs.

연구 동기 및 목표

• 정렬된 LLM의 엔드유저 미세 조정으로 인한 안전성 리스크를 동기 부여하고 정량화한다.
• 소량의 적대적 미세 조정 데이터 세트가 안전성 가드레일을 대폭 해제할 수 있음을 입증한다.
• 정지된 안전 목표에서 catastrophic forgetting 또는 목표 간 긴장으로 인해 정상적인 미세 조정도 안전성 목표에서 벗어날 수 있음을 보여준다.
• 미세 조정 과정에서 명시적 및 암시적 공격 벡터에 대한 안전성의 강건성을 평가한다.
• 안전한 미세 조정을 위한 잠재적 완화 전략을 제안하고 정책적 시사점을 논의한다.

제안 방법

• 최신 LLM(GPT-3.5 Turbo 및 Llama-2-7b-Chat)을 제어된 데이터 세트로 미세 조정한다.
• 목표 응답의 가능성을 최대화하기 위해 대화형 단일 라운드 미세 조정 형식을 사용한다.
• GPT-4 Judge를 사용해 11개 금지 사용 범주(330개 예시) 벤치마크에 대해 안전성을 평가한다.
• 해로운 미세 조정 규범과 정상(benign) 미세 조정 규범 간의 안전성을 비교한다.
• 적대적 증가형 공격을 수행한다: 명시적 해로운 데이터, 신원 전이 프롬프트, Alpaca 및 Dolly와 같은 정상 데이터 세트.
• 유해성은 평균 점수(1–5) 및 유해성 비율(5로 채점된 비율)로 보고한다.
• 안정성 저하의 강건성을 평가하기 위해 에폭 수, 샷 수, 하이퍼파라미터에 대한 제거적 분석(ablation)을 제공한다.

실험 결과

연구 질문

• RQ1 엔드유저의 미세 조정이 이미 정렬된 LLM의 안전성 정렬을 저하시킬 수 있는가?
• RQ2 정렬된 가드레일을 대폭 탈옥(jailbreak)할 수 있을 만큼 미세 조정 데이터가 얼마나 적고 비용이 저렴한가?
• RQ3 정상 데이터로의 미세 조정이 안전성을 저하시킬 수 있으며, 그렇다면 이는 카테고리 전반에 걸쳐 어떻게 나타나는가?
• RQ4 맞춤형 미세 조정을 위한 안전성을 강화하기 위한 실용적 완화 전략과 정책 고려사항은 무엇인가?

주요 결과

표	모델	데이터세트/시나리오	초기 해로운 점수	미세 조정된 해로운 점수	점수 변화	초기 해로운 비율	미세 조정된 해로운 비율	비율 변화
표 1	GPT-3.5 Turbo	10-shot	1.13	4.75	+3.62	1.8%	88.8%	+87.0%
표 1	GPT-3.5 Turbo	50-shot	1.13	4.71	+3.58	1.8%	87.0%	+85.2%
표 1	GPT-3.5 Turbo	100-shot	1.13	4.82	+3.69	1.8%	91.8%	+90.0%
표 1	Llama-2-7b-Chat	10-shot	1.06	3.58	+2.52	0.3%	50.0%	+49.7%
표 1	Llama-2-7b-Chat	50-shot	1.06	4.52	+3.46	0.3%	80.3%	+80.0%
표 1	Llama-2-7b-Chat	100-shot	1.06	4.54	+3.48	0.3%	80.0%	+79.7%
표 2	GPT-3.5 Turbo	3 epochs	1.00	1.32	+0.32	0%	7.3%	+7.3%
표 2	GPT-3.5 Turbo	5 epochs	1.00	3.08	+2.08	0%	49.1%	+49.1%
표 2	GPT-3.5 Turbo	10 epochs	1.00	4.67	+4.67	0%	87.3%	+87.3%
표 2	Llama-2-7b-Chat	3 epochs	1.02	3.84	+2.82	0%	54.2%	+54.2%
표 2	Llama-2-7b-Chat	5 epochs	1.02	4.27	+3.25	0%	72.1%	+72.1%
표 2	Llama-2-7b-Chat	10 epochs	1.02	4.15	+3.13	0%	68.2%	+68.2%
표 3	GPT-3.5 Turbo	Alpaca	1.29	2.47	+1.18	5.5%	31.8%	+26.3%
표 3	GPT-3.5 Turbo	Dolly	1.25	2.11	+0.86	4.5%	23.9%	+19.4%
표 3	GPT-3.5 Turbo	LLaVA-Instruct	Not Applicable	Not Applicable	-	Not Applicable	Not Applicable	-
표 3	Llama-2-7b-Chat	Alpaca	1.05	1.79	+0.74	0.3%	16.1%	+15.8%
표 3	Llama-2-7b-Chat	Dolly	0.60%	12.10%	Not Provided	0%	12.1%	+11.5%
표 3	Llama-2-7b-Chat	LLaVA-Instruct	0%	18.8%	+18.8%	0%	18.8%	+18.8%

• 명시적 해로운 데이터로의 미세 조정이 GPT-3.5 Turbo 및 Llama-2-7b-Chat에서 해로운 출력의 급격한 증가를 유도할 수 있다.
• 신원 전이(identity-shifting) 및 정상 데이터 미세 조정은 안전성을 더욱 악화시키며, 소규모 데이터 세트에서도 해로운성 비율의 상당한 증가를 보인다.
• Alpaca, Dolly 또는 LLaVA-Instruct에 대한 정상 미세 조정은 모델 및 범주 전반에서 해로운성 비율을 증가시키며, 안전 목표의 망각이나 충돌을 시사한다.
• 정상 미세 조정은 범주별 비균일한 저하를 보이며, 안전 데이터 또는 사전학습 코퍼스의 편향을 시사한다.
• 완화 전략은 기술적 접근과 정책적 접근 모두를 강조하며 각각의 한계를 다룬다.