[논문 리뷰] A Mechanistic Understanding of Alignment Algorithms: A Case Study on DPO and Toxicity

Andrew Lee, Bai Xiao-yan외 4명|arXiv (Cornell University)|2024. 01. 03.

Machine Learning and Data Classification인용 수 4

한 줄 요약

이 논문은 모델의 독성 감소를 위한 직접적 선호 최적화(DPO)의 기계적 원리를 분석하여, DPO가 독성 능력을 제거하는 것이 아니라 독성 표현을 회피하기 위해 값 벡터 전역에 걸쳐 분산된 오프셋을 학습한다는 것을 밝혀냈다. 이 연구는 키 독성 벡터를 확대함으로써 정합성이 쉽게 해제될 수 있음을 보여주어, 정합 모델에서 재설정(jailbreak)이 가능한 이유를 설명한다.

ABSTRACT

While alignment algorithms are now commonly used to tune pre-trained language models towards a user's preferences, we lack explanations for the underlying mechanisms in which models become ``aligned'', thus making it difficult to explain phenomena like jailbreaks. In this work we study a popular algorithm, direct preference optimization (DPO), and the mechanisms by which it reduces toxicity. Namely, we first study how toxicity is represented and elicited in a pre-trained language model, GPT2-medium. We then apply DPO with a carefully crafted pairwise dataset to reduce toxicity. We examine how the resulting model averts toxic outputs, and find that capabilities learned from pre-training are not removed, but rather bypassed. We use this insight to demonstrate a simple method to un-align the model, reverting it back to its toxic behavior.

연구 동기 및 목표

• DPO가 언어 모델의 독성을 어떻게 감소시키는지에 대한 기계적 기반을 이해하기 위해.
• 성공적인 정합에도 불구하고 정합 모델이 여전히 재설정 공격에 취약한 이유를 조사하기 위해.
• DPO 피니테이닝 동안 독성 능력이 제거되는지 여부를 검토하기 위해.
• 독성 벡터를 재활성화하여 정합을 뒤집는 방법을 개발하고 검증하기 위해.
• 선호 피니테이닝된 모델에서 정합의 취약성에 대한 인과적 설명을 제공하기 위해.

제안 방법

• GPT2-medium의 독성 표현을 MLP 활성화 벡터에 대한 특이값 분해(SVD)를 통해 식별하였다.
• Wikipedia 프롬프트를 기반으로 PPLM을 사용하여 쌍체의 독성 및 비독성 이어짐을 생성하는 쌍체 데이터셋을 제작하였다.
• 정제된 쌍체 데이터를 사용하여 GPT2-medium를 DPO로 피니테이닝하여 독성을 감소시켰다.
• DPO 적용 전후의 모델 가중치와 잔류 스트림 동역학을 추적하여 독성 벡터 활성화의 변화를 탐지하였다.
• 핵심 독성 벡터를 확대하여 간섭을 가함으로써 독성 출력을 재활성화함으로써 정합의 해제를 시연하였다.
• SVD를 사용하여 독성 증진에 기여하는 특정 벡터를 고립하고 분석하였다.

Figure 1: Logit lens on GPT2 and $\text{GPT2}_{\text{DPO}}$ . Given 295 prompts that originally elicit “sh*t” as the next token, we plot the average probability of outputting “sh*t” from intermittent layers by applying the unembedding layer. Minor ticks indicate $\ell\_{mid}$ layers (after attention

실험 결과

연구 질문

• RQ1 GPT2-medium와 같은 사전 훈련된 언어 모델의 내부 표현에서 독성이 어떻게 표현되고 유도되는가?
• RQ2 DPO 피니테이닝 이후 모델의 가중치와 활성화에서 어떤 특정 변화가 발생하는가?
• RQ3 DPO는 독성 출력 생성 능력을 제거하는가, 아니면 단지 독성 경로를 우회하는가?
• RQ4 DPO를 통해 학습된 정합은 쉽게 해제될 수 있는가, 만약 그렇다면 어떤 메커니즘을 통해?
• RQ5 정합 모델이 재설정 공격에 취약한 데에 기여하는 기계적 설명은 무엇인가?

주요 결과

• GPT2-medium에서 독성은 주로 키 및 값 벡터에 있는 다수의 별개의 벡터로 표현되며, SVD를 통해 고립 가능하다.
• 잔류 스트림에서 이러한 독성 벡터를 빼는 간섭 조치를 가함으로써 독성 출력이 크게 감소하였으며, 이는 그들의 인과적 역할을 확인한다.
• DPO 피니테이닝 이후 주요 가중치 변화는 없었고, 대신 독성 영역을 우회하기 위해 값 벡터 전역에 걸쳐 분산된 오프셋을 학습하였다.
• DPO 모델는 사전 훈련된 능력을 유지하지만, 독성 표현을 유도하지 않도록 다른 경로를 통해 라우팅함으로써 이를 피한다.
• 독성 표현과 관련된 핵심 벡터를 확대함으로써 정합을 뒤집을 수 있으며, 이는 모델의 원래 독성 행동을 복원할 수 있음을 보여준다.
• 정합의 취약성은 독성 능력의 제거에서 비롯되지 않으며, 오히려 최소한의 분산된 가중치 이동을 통해 독성 영역을 피하는 방식으로 모델이 학습하기 때문이다.

Figure 2: Mean activations for toxic vectors before and after DPO.