[논문 리뷰] Fundamental Limitations of Alignment in Large Language Models

Yotam Wolf, Noam Wies외 3명|arXiv (Cornell University)|2023. 04. 19.

Topic Modeling인용 수 43

한 줄 요약

이 논문은 Behavior Expectation Bounds(BEB)를 소개한다. BEB는 어떤 정렬된 LLM도 프롬프트에 의해 적대적으로 비정렬될 수 있음을 보여주는 확률적 프레임워크이며, 미리 설정된 프롬프트 또는 다회 대화가 잘못된 정렬을 완전히 막지 못함을 입증한다.

ABSTRACT

An important aspect in developing language models that interact with humans is aligning their behavior to be useful and unharmful for their human users. This is usually achieved by tuning the model in a way that enhances desired behaviors and inhibits undesired ones, a process referred to as alignment. In this paper, we propose a theoretical approach called Behavior Expectation Bounds (BEB) which allows us to formally investigate several inherent characteristics and limitations of alignment in large language models. Importantly, we prove that within the limits of this framework, for any behavior that has a finite probability of being exhibited by the model, there exist prompts that can trigger the model into outputting this behavior, with probability that increases with the length of the prompt. This implies that any alignment process that attenuates an undesired behavior but does not remove it altogether, is not safe against adversarial prompting attacks. Furthermore, our framework hints at the mechanism by which leading alignment approaches such as reinforcement learning from human feedback make the LLM prone to being prompted into the undesired behaviors. This theoretical result is being experimentally demonstrated in large scale by the so called contemporary "chatGPT jailbreaks", where adversarial users trick the LLM into breaking its alignment guardrails by triggering it into acting as a malicious persona. Our results expose fundamental limitations in alignment of LLMs and bring to the forefront the need to devise reliable mechanisms for ensuring AI safety.

연구 동기 및 목표

• 확률적 프레임워크를 사용하여 대형 언어 모델(LLM)의 정렬 한계를 형식화한다.
• 바람직하지 않은 행동을 제거하지는 못하고 감소시키는 정렬도 악의적 프롬프트에 취약하다는 것을 보여준다.
• 프롬프트 작성, 미리 설정된 정렬 프롬프트, 대화가 잘못된 정렬 위험에 어떤 영향을 미치는지 분석한다.
• LLaMA 계열에 대한 경험적 지지를 제공하여 BEB 매개변수와 잘못된 정렬 역학을 설명한다.

제안 방법

• Behavior Expectation Bounds(BEB)를 정의하여 행동 수직 축에 따른 기대 행동 점수를 정량화한다.
• LLM 분포를 잘못 행동하는 구성 요소와 잘 행동하는 구성 요소의 혼합으로 모델링하고 이러한 구성 요소의 프롬프트 재가중치를 연구한다.
• 알파, 베타, 감마-구분가능성과 시그마-유사성을 도입하여 프롬프트 하에서 잘못 정렬 위험을 경계한다.
• 적대적 프롬프트로 인한 잘못 정렬을 보이는 정리(정리 1), 미리 설정된 정렬 프롬프트로 인한 정렬, 그리고 대화 맥락에서의 잘못 정렬을 보이는 정리 2, 정리 3를 증명한다.
• LLaMA-2 모델과 Perez 등.behavior 데이터세트를 사용하여 BEB 매개변수(beta, beta', sigma)의 실증적 추정치를 제공한다.

Figure 1: Examples of sentence behavior scores along different behavior verticals. Our framework of Behavior Expectation Bounds (BEB) assumes ground truth behavior scoring functions, and bounds the expected scores of models along different behavior verticals in order to guarantee LLM alignment or mi

실험 결과

연구 질문

• RQ1 BEB 가정하에서 정렬된 LLM이 적대적 프롬프트에 의해 명제적으로 잘못 정렬될 수 있는가?
• RQ2 사전에 설정된 정렬 프롬프트가 필요한 잘못 정렬 프롬프트의 길이에 어떻게 영향을 미치는가?
• RQ3 다중 턴 대화에서도 잘못 정렬이 확장되는가, 그리고 어떤 프롬프트 길이에서인가?
• RQ4 실용적인 LLM에서 BEB 매개변수(beta, beta', sigma)의 현실적 범위는 어떤가?
• RQ5 RLHF-튜닝된 모델이 BEB 예측과 일치하는 역학을 보이는가?

주요 결과

• 정렬은 알파, 베타, 감마로 구분되는 분포에서 적대적 프롬프트에 본질적으로 취약한 것으로 나타난다.
• 정렬 프리픽스가 안전을 보장하지 않는다; 필요한 잘못 정렬 프롬프트의 길이는 정렬 프롬프트 길이에 비례해 증가한다.
• 대화 중에도 잘못 정렬이 발생할 수 있으며, 프롬프트 길이 요건은 턴이 누적될수록 증가한다.
• LLaMA-2의 실증 추정은 협조적 행동에 대해 beta가 약 20, beta'가 약 30, sigma^2가 약 50에 해당하며, sigma/beta는 약 0.35이다.
• RLHF-미세조정된 LLM은 적대적 프롬프트 하에서 부정적 행동 분포로의 수렴을 보여주며 BEB 예측과 일치한다.

Figure 2: (a) KL between two distributions of opposite behaviors as function of prompt length sampled from $\mathbb{P}_{-}$ , averaged on 10 sampled sequences. For these two distributions, we see $\beta\approx 20$ . (b) Corresponding log ratio variance between the distributions mentioned in (a). 30