[논문 리뷰] Jailbroken: How Does LLM Safety Training Fail?

Alexander Wei, Nika Haghtalab외 1명|arXiv (Cornell University)|2023. 07. 05.

Adversarial Robustness in Machine Learning인용 수 66

한 줄 요약

본 논문은 LLM의 안전 훈련에 의한 두 가지 실패 모드를 식별하고—경쟁적 목표와 일반화의 불일치—GPT-4 및 Claude v1.3과 같은 최첨단 모델이 레드테이밍과 안전 노력에도 불구하고 jailbreak에 여전히 취약하다는 점을 보여준다.

ABSTRACT

Large language models trained for safety and harmlessness remain susceptible to adversarial misuse, as evidenced by the prevalence of "jailbreak" attacks on early releases of ChatGPT that elicit undesired behavior. Going beyond recognition of the issue, we investigate why such attacks succeed and how they can be created. We hypothesize two failure modes of safety training: competing objectives and mismatched generalization. Competing objectives arise when a model's capabilities and safety goals conflict, while mismatched generalization occurs when safety training fails to generalize to a domain for which capabilities exist. We use these failure modes to guide jailbreak design and then evaluate state-of-the-art models, including OpenAI's GPT-4 and Anthropic's Claude v1.3, against both existing and newly designed attacks. We find that vulnerabilities persist despite the extensive red-teaming and safety-training efforts behind these models. Notably, new attacks utilizing our failure modes succeed on every prompt in a collection of unsafe requests from the models' red-teaming evaluation sets and outperform existing ad hoc jailbreaks. Our analysis emphasizes the need for safety-capability parity -- that safety mechanisms should be as sophisticated as the underlying model -- and argues against the idea that scaling alone can resolve these safety failure modes.

연구 동기 및 목표

• 안전 훈련을 받은 LLM의 jailbreaking이 발생하는 이유를 동기부여하고 형식화한다.
• jailbreaking의 성공을 설명하기 위해 두 가지 실패 모드(경쟁적 목표와 일반화의 불일치)를 제안한다.
• 다양한 jailbreak에 대해 GPT-4, Claude v1.3, GPT-3.5 Turbo를 실증적으로 평가한다.
• 안전 개선이 안전성과 능력 사이의 동등성이 없으면 확장되더라도 효과가 떨어진다는 것을 보여준다.

제안 방법

• 좋음/나쁨/불확실 라벨을 사용해 제한된 동작과 jailbreak 성공 기준을 정의한다.
• 두 가지 실패 모드를 특징화하고 공격 패밀리(예: 접두사 주입, 거부 반응 억제, Base64 은닉화)를 구축한다.
• 두 가지 실패 모드에 따라 간단한 조합 jailbreak을 만들고 GPT-4, Claude v1.3, GPT-3.5 Turbo에 대해 평가한다.
• 선별된 레드팀 프롬프트와 더 큰 합성 프롬프트 세트를 사용하여 공격의 일반화를 평가한다.
• 특정 프롬프트 특징(예: 접두사, 지시사항)의 중요성을 확인하기 위한 차등 분석을 수행한다.
• 방어 시사점을 분석하고 확장 그 이상으로 안전성-능력의 동등성을 주장한다.

실험 결과

연구 질문

• RQ1 LLM의 jailbreaking을 가능하게 하는 안전 훈련의 근본적인 실패 모드는 무엇인가?
• RQ2 경쟁적 목표와 일반화의 불일치를 활용한 새롭게 설계된 jailbreak이 기존 공격보다 더 우수한 성능을 보일 수 있는가?
• RQ3 현재의 안전 노력은 GPT-4 및 Claude v1.3와 같은 더 크고 더 능력 있는 모델에 일반화되는가?
• RQ4 확인된 실패 모드에서 제시되는 방어 전략은 무엇이며, 규모 확장이 안전성 격차를 해소하기에 충분한가?
• RQ5 공격의 효과가 모델 규모와 아키텍처(GPT-4, Claude v1.3, GPT-3.5 Turbo)에 따라 어떻게 달라지는가?

주요 결과

• 경쟁적 목표와 일반화의 불일치를 이용한 Jailbreak 공격이 최신 모델 전반에서 높은 성공률을 달성한다.
• 선정된 샘플에서 조합 공격은 높은 Bad Bot 비율(GPT-4 ~0.93 등)을 달성하고 방어에 대해 상당한 Good Bot 비율을 보인다(모델에 따라 다름).
• 적응형 공격은 큐레이션된 데이터세트에서 GPT-4와 Claude v1.3에 대해 프롬프트 전반에서 거의 보편적 성공을 달성할 수 있다.
• 안전 개선이 Jailbreak를 완전히 예방하지는 못하며, 규모만으로는 실패 모드를 해결하지 못하고 취약성 표면을 이동시킬 수 있다.
• 안전성-능력의 동등성이 LLM의 적대적 사용에 대응하기 위해 필요하다고 주장한다.