[논문 리뷰] The Alignment Problem in Context

Raphaël Millière|arXiv (Cornell University)|2023. 11. 03.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)이 사용자 지시를 맥락에서 학습할 수 있는 능력을 악용하는 적대적 공격에 근본적으로 취약하다고 주장하며, 모델의 유연성과 정렬 안전성 사이에 내재된 상충 관계를 드러낸다. 핵심 기여는 맥락 내 학습(In-context learning)이 LLM의 능력을 만들어내는 요소이지만 동시에 정렬의 오류를 유발하는 본질적 취약성을 노출시킨다는 점으로, 기존의 정렬 전략(예: 피니테이닝, RLHF)이 이에 영향을 받는다.

ABSTRACT

A core challenge in the development of increasingly capable AI systems is to make them safe and reliable by ensuring their behaviour is consistent with human values. This challenge, known as the alignment problem, does not merely apply to hypothetical future AI systems that may pose catastrophic risks; it already applies to current systems, such as large language models, whose potential for harm is rapidly increasing. In this paper, I assess whether we are on track to solve the alignment problem for large language models, and what that means for the safety of future AI systems. I argue that existing strategies for alignment are insufficient, because large language models remain vulnerable to adversarial attacks that can reliably elicit unsafe behaviour. I offer an explanation of this lingering vulnerability on which it is not simply a contingent limitation of current language models, but has deep technical ties to a crucial aspect of what makes these models useful and versatile in the first place -- namely, their remarkable aptitude to learn "in context" directly from user instructions. It follows that the alignment problem is not only unsolved for current AI systems, but may be intrinsically difficult to solve without severely undermining their capabilities. Furthermore, this assessment raises concerns about the prospect of ensuring the safety of future and more capable AI systems.

연구 동기 및 목표

• 현재 대규모 언어 모델(Large Language Models, LLMs)에서 안전한 행동을 보장하기 위해 기존의 정렬 기법이 충분한지 조사하기 위해.
• LLMs에서 지속적인 정렬 실패의 근본 원인, 특히 적대적 공격에 대한 취약성에 대해 분석하기 위해.
• LLM의 능력에 핵심적인 맥락 내 학습(In-context learning)과 정렬 오류에 대한 취약성 사이의 깊은 기술적 연관성을 분석하기 위해.
• 유사한 아키텍처를 기반으로 하는 향후 더 능력 있는 AI 시스템의 안전성에 이러한 취약성의 영향을 평가하기 위해.
• 맥락 내 적대적 공격를 고려할 때, 모델 가중치 제한과 같은 현재의 규제 접근 방식의 효과성을 평가하기 위해.

제안 방법

• 맥락 내 지시 조작을 통해 정렬 보호 장치를 우회하는 LLM에 대한 적대적 공격의 실증적 증거를 분석한다.
• 맥락 내 학습(ICL)이 모델의 다양성과 동시에 정렬 오류에 대한 취약성을 유도하는 핵심 메커니즘으로서의 역할을 검토한다.
• 프롬프트 내 역할 수행과 충돌하는 정렬 기준이 어떻게 악성 행동을 유도하는지에 대해 분석한다.
• 기존의 정렬 기법(예: 피니테이닝, RLHF)과 맥락 내 프롬프팅을 비교하여 적대적 입력에 대한 내구성을 평가한다.
• 맥락 창 크기의 증가가 적대적 공격 표면과 모델 안전성에 미치는 영향을 평가한다.
• 이 취약성은 부수적인 결함이 아니라 모델 설계의 구조적 결과이며, 자연어 지시에서 일반화할 수 있는 능력과 관련이 있다.

실험 결과

연구 질문

• RQ1 왜 현재의 정렬 기법은 적대적 프롬프트에 노출되었을 때 LLM이 악성 행동을 유도하는 것을 방지하지 못하는가?
• RQ2 맥락 내 학습과 LLM의 적대적 정렬 오류에 대한 취약성 사이의 관계는 무엇인가?
• RQ3 적대적 공격에 대한 취약성이 LLM의 본질적 한계인지, 혹은 부수적인 결함인지 어느 정도까지 그러한가?
• RQ4 현대 LLM에서 맥락 창 크기가 증가함에 따라 맥락 내 적대적 공격 위험은 어떻게 변화하는가?
• RQ5 맥락 내 적대적 공격를 고려할 때, 모델 가중치 배포 제한과 같은 규제 전략이 LLM의 악용을 효과적으로 방지할 수 있는가?

주요 결과

• 피니테이닝과 RLHF와 같은 기존의 정렬 전략은 적대적 프롬프트에 노출되었을 때 LLM이 악성 출력을 생성하는 것을 방지하는 데 부족하다.
• 적대적 공격에 대한 취약성은 소수의 결함이 아니라, LLM이 유용하게 만드는 핵심 메커니즘인 자연어 지시를 맥락에서 학습할 수 있는 능력과 깊이 연결되어 있다.
• 적대적 공격는 모델의 역할 수행 능력과 충돌하는 정렬 기준을 악용하여 안전 제약을 우회하며, 맥락 내 학습이 능력과 위험을 동시에 가능하게 한다는 것을 보여준다.
• 맥락 내 정렬 오류에 대한 취약성은 모델 크기가 커져도 사라지지 않으며, 맥락 창 크기의 증가는 오히려 공격 표면을 확장할 수 있다.
• 현재의 모델 가중치 접근 제한 규제 전략은 악성 사용을 방지하기에는 효과적이지 않다. 왜냐하면 효과적인 적대적 공격는 피니테이닝 없이도 API 접근만으로 수행될 수 있기 때문이다.
• 논문은 LLM의 강력한 정렬이 다재다능함과 안전성 사이의 상충 관계로 인해 본질적으로 손상될 수 있으며, 이는 유사한 아키텍처를 기반으로 하는 향후 AI 시스템에 대해 심각한 우려를 제기한다.