[논문 리뷰] Self-Deception: Reverse Penetrating the Semantic Firewall of Large Language Models

Zhenhua Wang, Wei Xie외 4명|arXiv (Cornell University)|2023. 08. 16.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)의 의미적 방화벽을 우회하기 위해 모델이 자체적으로 재구성된 해킹 패킷을 생성하도록 속이는 새로운 '자기기만' 공격을 소개한다. 이 방법은 6개의 언어와 7개의 가상 시나리오를 대상으로 폭력, 증오, 포르노그래피를 포함한 여러 위반 유형에 대해 GPT-3.5-Turbo에서 86.2%의 성공률, GPT-4에서는 67%의 성공률를 기록하여 매우 효과적인 자동 해킹 기법임을 입증한다.

ABSTRACT

Large language models (LLMs), such as ChatGPT, have emerged with astonishing capabilities approaching artificial general intelligence. While providing convenience for various societal needs, LLMs have also lowered the cost of generating harmful content. Consequently, LLM developers have deployed semantic-level defenses to recognize and reject prompts that may lead to inappropriate content. Unfortunately, these defenses are not foolproof, and some attackers have crafted "jailbreak" prompts that temporarily hypnotize the LLM into forgetting content defense rules and answering any improper questions. To date, there is no clear explanation of the principles behind these semantic-level attacks and defenses in both industry and academia. This paper investigates the LLM jailbreak problem and proposes an automatic jailbreak method for the first time. We propose the concept of a semantic firewall and provide three technical implementation approaches. Inspired by the attack that penetrates traditional firewalls through reverse tunnels, we introduce a "self-deception" attack that can bypass the semantic firewall by inducing LLM to generate prompts that facilitate jailbreak. We generated a total of 2,520 attack payloads in six languages (English, Russian, French, Spanish, Chinese, and Arabic) across seven virtual scenarios, targeting the three most common types of violations: violence, hate, and pornography. The experiment was conducted on two models, namely the GPT-3.5-Turbo and GPT-4. The success rates on the two models were 86.2% and 67%, while the failure rates were 4.7% and 2.2%, respectively. This highlighted the effectiveness of the proposed attack method. All experimental code and raw data will be released as open-source to inspire future research. We believe that manipulating AI behavior through carefully crafted prompts will become an important research direction in the future.

연구 동기 및 목표

• 대규모 언어 모델에서 의미 수준의 해킹 공격 메커니즘을 규명하는 것.
• 프롬프트 엔지니어링을 통해 LLM이 콘텐츠 방어 메커니즘을 우회당할 수 있는 방식에 대한 체계적인 이해 부족 문제를 해결하는 것.
• 의미적 방화벽 취약점을 악용하는 자동화되고 확장 가능한 해킹 프롬프트 생성 방법을 개발하고 평가하는 것.
• 다양한 위반 유형에 걸쳐 다국어 및 다중 시나리오 환경에서 이러한 공격의 일반화 능력을 탐색하는 것.

제안 방법

• LLM에서 유해 콘텐츠를 유도하는 프롬프트를 차단하는 방어 메커니즘으로 '의미적 방화벽' 개념을 제안한다.
• LLM이 스스로 해킹 패킷을 생성하도록 유도하는 '자기기만' 공격 전략을 도입한다.
• 6개 언어(영어, 러시아어, 프랑스어, 스페인어, 중국어, 아랍어)를 대상으로 총 2,520개의 공격 패킷을 생성하기 위해 다단계 프롬프트 생성 파이프라인을 활용한다.
• 폭력, 증오, 포르노그래피의 세 가지 위반 유형을 대상으로 7개의 가상 시나리오를 설계하고 배포한다.
• 성공률 및 실패률을 측정하기 위해 두 가지 주요 모델인 GPT-3.5-Turbo와 GPT-4에서 실험을 수행한다.
• 모든 실험 코드와 원시 데이터를 오픈소스로 공개하여 향후 AI 정렬 및 안전성 연구를 지원한다.

실험 결과

연구 질문

• RQ1 내장된 콘텐츠 방어 메커니즘에도 불구하고 의미 수준의 프롬프트 조작을 통해 대규모 언어 모델을 체계적으로 우회할 수 있는 방법은 무엇인가?
• RQ2 어떤 프롬프트가 특정 LLM이 안전 규칙을 무시하거나 무시하도록 유도하는 근본 원리는 무엇인가?
• RQ3 자기기만 기반 공격이 다양한 언어와 위반 유형에 걸쳐 얼마나 일반화될 수 있는가?
• RQ4 다양한 LLM 아키텍처와 환경에서 제안된 자동 해킹 방법의 효과성은 어느 정도인가?
• RQ5 실제 배포 환경에서 의미적 방화벽 우회 기법의 실패 유형과 한계는 무엇인가?

주요 결과

• 자기기만 공격는 모든 테스트된 위반 유형과 언어에서 GPT-3.5-Turbo에서 86.2%의 성공률를 기록했다.
• GPT-4에서도 67%의 성공률를 기록하여 더 강력한 모델조차도 의미 수준의 해킹에 취약함을 입증했다.
• GPT-3.5-Turbo에서 실패율은 4.7%, GPT-4에서는 2.2%에 불과하여 이 방법의 높은 신뢰성을 입증했다.
• 6개 언어 전반에서 공격가능성이 확인되어 이 취약성은 영어 전용 프롬프트에 국한되지 않음을 입증했다.
• 7개의 서로 다른 가상 시나리오에서 의미적 방화벽을 성공적으로 우회하여 다양한 맥락에서의 강건성을 확인했다.
• 모든 코드와 데이터의 오픈소스 공개로 재현 가능성이 보장되며, 향후 AI 정렬 및 안전성 연구를 지원한다.