[논문 리뷰] What Makes and Breaks Safety Fine-tuning? A Mechanistic Study

Samyak Jain, Ekdeep Singh Lubana외 5명|arXiv (Cornell University)|2024. 07. 14.

Risk and Safety AnalysisDecision Sciences인용 수 3

한 줄 요약

이 논문은 대규모 언어 모델에서 안전성 파라미터 조정의 기계적 기반을 밝혀내기 위해 작업과 개념을 분리한 합성 데이터 프레임워크를 도입하여, 감독적 파라미터 조정, DPO, 언러닝과 같은 안전성 방법이 모델 활성화를 어떻게 변형시키는지 연구한다. 연구 결과, 안전성 파라미터 조정은 MLP 가중치를 최소한으로 수정하여 불안전한 입력을 이러한 가중치의 영공간(null space)으로 투영함으로써 안전하고 불안전한 입력에 대해 별개의 클러스터를 형성함을 드러낸다. 반면, 적대적 잠금 해제 공격는 안전한 입력의 활성화 패턴을 모방함으로써 안전성 메커니즘을 우회한다.

ABSTRACT

Safety fine-tuning helps align Large Language Models (LLMs) with human preferences for their safe deployment. To better understand the underlying factors that make models safe via safety fine-tuning, we design a synthetic data generation framework that captures salient aspects of an unsafe input by modeling the interaction between the task the model is asked to perform (e.g., "design") versus the specific concepts the task is asked to be performed upon (e.g., a "cycle" vs. a "bomb"). Using this, we investigate three well-known safety fine-tuning methods -- supervised safety fine-tuning, direct preference optimization, and unlearning -- and provide significant evidence demonstrating that these methods minimally transform MLP weights to specifically align unsafe inputs into its weights' null space. This yields a clustering of inputs based on whether the model deems them safe or not. Correspondingly, when an adversarial input (e.g., a jailbreak) is provided, its activations are closer to safer samples, leading to the model processing such an input as if it were safe. We validate our findings, wherever possible, on real-world models -- specifically, Llama-2 7B and Llama-3 8B.

연구 동기 및 목표

• 안전성 파라미터 조정이 인간의 안전성 선호도에 따라 LLM을 어떻게 정렬시키는지 그 기계적 메커니즘을 이해하는 것.
• 훈련 목적에도 불구하고 안전성 파라미터 조정된 모델이 여전히 잠금 해제 공격에 취약한 이유를 규명하는 것.
• 작업-개념 상호작용을 고립시켜 안전성 행동을 연구할 수 있는 통제 가능한 합성 데이터 생성 프레임워크를 설계하는 것.
• 다양한 안전성 파라미터 조정 방법(SSFT, DPO, 언러닝)이 모델 표현과 인덕티브 바이어스에 어떻게 영향을 미치는지 분석하는 것.
• 활성화 유사성과 가중치 공간 변환을 통해 안전성 파라미터 조정의 강건성 실패 원인을 설명하는 것.

제안 방법

• 작업(예: '디자인')과 개념(예: '폭탄' 대비 '자전거')의 조합으로 입력를 모델링하는 합성 데이터 생성 프레임워크를 개발하여, 안전성 행동을 통제 가능하게 연구할 수 있도록 한다.
• 이 프레임워크를 사용해 Wei 등(2023)의 분류 체계에 기반한 안전, 불안전, 그리고 적대적(잠금 해제) 입력을 생성한다.
• 감독적 안전 파라미터 조정(SSFT), 직접 선호도 최적화(DPO), 기계적 언러닝의 세 가지 안전성 파라미터 조정 방법을 훈련하고 분석한다.
• 선형 모드 연결성 분석을 수행하여, 각 레이어에서 가중치 업데이트($\Delta W$)가 활성화 공간의 특이값과 투영 각도에 어떻게 영향을 미치는지 연구한다.
• 로컬 리프시츠 상수와 페셔 기준을 측정하여, 파라미터 조정 전후의 활성화 공간에서 클러스터의 밀도와 분리 정도를 평가한다.
• 파라미터 조정 과정 전반에 걸쳐 안전 및 불안전 샘플 간의 경험적 질량과 활성화 분포 유사성의 변화를 추적한다.

실험 결과

연구 질문

• RQ1 안전성 파라미터 조정 방법은 모델의 가중치 공간에서 불안전한 입력의 표현을 어떻게 변형시키는가?
• RQ2 안전성 파라미터 조정의 훈련 목적이 있음에도 불구하고 왜 잠금 해제 공격가 성공적으로 안전성 파라미터 조정을 우회할 수 있는가?
• RQ3 MLP 가중치의 영공간이 안전한 입력과 불안전한 입력을 구분하는 데 어떤 역할을 하는가?
• RQ4 안전성 파라미터 조정이 불안전한 입력에 대해 모델의 로컬 리프시츠 행동에 어떤 인덕티브 바이어스를 도입하는가?
• RQ5 적대적 입력이 활성화 공간에서 안전한 입력과 얼마나 유사한가? 그리고 이러한 유사성은 어떻게 회피를 가능하게 하는가?

주요 결과

• 안전성 파라미터 조정은 MLP 가중치를 최소한으로 수정하여 불안전한 입력을 가중치 행렬의 영공간으로 투영함으로써, 활성화 공간에서 불안전 샘플에 대해 별개의 클러스터를 형성한다.
• 안전성 파라미터 조정 후 불안전 샘플의 특징 공간에 대한 경험적 질량이 크게 감소하여, 불안전 표현의 차원 수가 감소하고 밀도가 높아짐을 나타낸다.
• 적대적 잠금 해제 입력의 활성화 패턴은 안전한 입력의 활성화 패턴과 통계적으로 구별되지 않으며, 이는 안전성 메커니즘을 회피할 수 있도록 한다.
• 안전성 파라미터 조정 후 불안전 샘플에 대해 모델의 로컬 리프시츠 상수가 감소하여, 불안전 영역에서 입력 변형에 대한 민감도가 낮아짐을 나타낸다.
• 파라미터 조정 후 안전 대 비안전 샘플 간 클러스터 분리에 대한 페셔 기준이 크게 증가하여, 방법이 표현 공간에서 안전 및 불안전 클러스터를 성공적으로 분리함을 확인한다.
• 지시어 편향 모델과 안전성 파라미터 조정된 모델 간 활성화 공간 간의 투영 각도가 불안전 샘플에서 증가하여, 이들의 표현이 더 뚜렷하게 변형됨을 나타낸다.