[논문 리뷰] Safety Alignment Should Be Made More Than Just a Few Tokens Deep

Xiangyu Qi, Ashwinee Panda외 6명|arXiv (Cornell University)|2024. 06. 10.

Risk and Safety AnalysisDecision Sciences인용 수 3

한 줄 요약

이 논문은 LLM의 안전성에 영향을 미치는 주요 요소로 '얕은 안전성 정렬'(shallow safety alignment)을 특정하며, 이는 LLM의 안전성 정렬이 주로 첫 번째 몇 개의 출력 토큰에 국한되어 있음을 의미한다. 이 얕은 정렬 구조는 악성 서픽스, 디코딩 공격, 파인튜닝 공격 등을 통해 제거될 수 있으며, 이에 대비해 데이터 증강과 제약 조건이 적용된 파인튜닝 목적 함수를 통해 정렬을 깊이 있게 강화함으로써 초기 토큰 이후에도 지속적인 안전성을 확보할 수 있음을 제안한다.

ABSTRACT

The safety alignment of current Large Language Models (LLMs) is vulnerable. Relatively simple attacks, or even benign fine-tuning, can jailbreak aligned models. We argue that many of these vulnerabilities are related to a shared underlying issue: safety alignment can take shortcuts, wherein the alignment adapts a model's generative distribution primarily over only its very first few output tokens. We refer to this issue as shallow safety alignment. In this paper, we present case studies to explain why shallow safety alignment can exist and provide evidence that current aligned LLMs are subject to this issue. We also show how these findings help explain multiple recently discovered vulnerabilities in LLMs, including the susceptibility to adversarial suffix attacks, prefilling attacks, decoding parameter attacks, and fine-tuning attacks. Importantly, we discuss how this consolidated notion of shallow safety alignment sheds light on promising research directions for mitigating these vulnerabilities. For instance, we show that deepening the safety alignment beyond just the first few tokens can often meaningfully improve robustness against some common exploits. Finally, we design a regularized finetuning objective that makes the safety alignment more persistent against fine-tuning attacks by constraining updates on initial tokens. Overall, we advocate that future safety alignment should be made more than just a few tokens deep.

연구 동기 및 목표

• 광범위한 파인튜닝과 RLHF를 거친 후에도 단순한 공격에 취약한 현재 LLM 안전성 정렬의 원인을 조사하는 것.
• 정렬 효과가 첫 번째 몇 개의 출력 토큰에 국한되어 있는 '얕은 안전성 정렬'(shallow safety alignment)을 특정하여 이가 이러한 취약성의 근본 원인임을 규명하는 것.
• 기존에 알려진 공격들(예: 악성 서픽스, 프리필링, 디코딩 파rameter 공격, 파인튜닝 공격 등)이 초기 토큰을 조작하여 얕은 정렬을 악용하고 있음을 입증하는 것.
• 초기 토큰을 넘어서도 안전성 정렬의 영향을 지속적으로 유지할 수 있도록 정렬을 깊이 있게 강화하는 방법을 제안하는 것.
• 초기 토큰 확률 분포의 변화를 제한하는 제약 조건이 적용된 파인튜닝 목적 함수를 개발하여, 파인튜닝 기반의 제거 공격에 대한 저항력을 높이는 것.

제안 방법

• 유해한 초기 응답을 포함하고 그 다음에 안전한 거부 응답을 이어가는 데이터 증강 전략을 도입하여, 모델이 불안전한 시작 상태에서 회복하도록 훈련하는 방법.
• 선호도 모델링 기반의 정규화된 파인튜닝 목적 함수를 제안하며, 정렬된 모델의 정책을 기준으로 하여 초기 토큰 확률의 업데이트를 제약하는 방식.
• 정책 확률의 비율을 스케일링한 로그 비율의 시그모이드를 사용하여 서rogate 목적 함수를 유도하며, βt를 통해 시퀀스 위치 간의 기울기 안정성을 확보하는 온도 유사 정규화를 적용.
• Bradley-Terry 모델 프레임워크를 활용하여 선호도 함수 T를 정의하며, 정렬된 정책의 평균 대비 예상 보상이 높은 토큰을 우선시하도록 설계.
• 명시적인 가치 함수 학습 없이도 엔드 투 엔드 최적화가 가능한 하한 근사 손실 Lθ를 사용하여 목적 함수의 미분 가능성과 확장성을 보장.
• 파인튜닝 시나리오에 이 방법을 적용하여, 모델이 적응 과정에서 첫 번째 몇 개의 토큰 확률 분포에 큰 변화를 일으키지 않도록 명시적으로 정규화하는 방법.

실험 결과

연구 질문

• RQ1 왜 현재 LLM 안전성 정렬 방법은 악성 서픽스나 프리필링과 같은 단순한 공격에 취약한가?
• RQ2 정렬된 모델의 안전성 행동이 오직 첫 번째 몇 개의 출력 토큰에 의해 결정되는 정도는 어느 정도인가?
• RQ3 초기 토큰을 넘어서도 정렬의 영향을 지속적으로 확장하는 '깊은 안전성 정렬'을 통해 기존의 공격에 대한 저항력이 향상될 수 있는가?
• RQ4 제약 조건이 적용된 파인튜닝 목적 함수는 어떻게 파인튜닝 기반 제거 공격의 위험을 줄일 수 있는가?
• RQ5 초기 토큰 분포는 치명적인 정렬 실패를 유도하거나 방지하는 데 어떤 역할을 하는가?

주요 결과

• 현재 안전성 정렬은 주로 얕은 성격을 띠며, 정렬된 모델와 정렬되지 않은 모델 간의 주요 차이는 첫 번째 몇 개의 출력 토큰 생성 방식에 국한되어 있다.
• 정렬되지 않은 모델에 '나는 이 요청을 이행할 수 없습니다'와 같은 안전한 프리픽스를 단순히 프리필링하기만 해도, 전체적으로 정렬된 모델와 동일한 수준의 안전성을 확보할 수 있으며, 이는 얕은 정렬의 취약성을 입증한다.
• 악성 서픽스 공격, 디코딩 파rameter 공격, 프리필링 공격는 모두 초기 토큰 분포를 조작하여 성공하며, 이는 정렬이 첫 번째 몇 개의 토큰을 넘어서는 안정성이 없음을 확인한다.
• 파인튜닝 공격는 해로운 응답의 첫 번째 몇 개 토큰에서 가장 큰 변화를 일으키며, 이는 단지 몇 번의 파인튜닝 스텝만으로도 제거가 가능하다는 이유를 설명한다.
• 유해한 응답에서 안전한 응답으로의 전환을 포함하는 데이터 증강은 정렬을 깊이 있게 강화하며, 더 깊은 토큰 위치에서 정렬된 모델과 정렬되지 않은 모델 간의 분리가 증가하고, 저항력이 향상됨을 보여준다.
• 초기 토큰 확률을 정규화하는 제안된 제약 조건이 적용된 파인튜닝 목적 함수는 파인튜닝 기반 제거 공격에 의한 위험을 크게 줄이며, 실용적인 방어 메커니즘을 제공한다.