[논문 리뷰] Tricking LLMs into Disobedience: Formalizing, Analyzing, and Detecting Jailbreaks

Abhinav Rao, Sachin Vashistha외 3명|arXiv (Cornell University)|2023. 05. 24.

Digital and Cyber Forensics인용 수 15

한 줄 요약

이 논문은 LLM에서의 jailbreaks(프롬프트 주입)을 형식화하고, 분류체계와 형식적 설정을 제안하며, 모델 전반의 공격 효과를 조사하고, 경량화된 가드레일 및 탐지 전략에 대해 논의한다.

ABSTRACT

Recent explorations with commercial Large Language Models (LLMs) have shown that non-expert users can jailbreak LLMs by simply manipulating their prompts; resulting in degenerate output behavior, privacy and security breaches, offensive outputs, and violations of content regulator policies. Limited studies have been conducted to formalize and analyze these attacks and their mitigations. We bridge this gap by proposing a formalism and a taxonomy of known (and possible) jailbreaks. We survey existing jailbreak methods and their effectiveness on open-source and commercial LLMs (such as GPT-based models, OPT, BLOOM, and FLAN-T5-XXL). We further discuss the challenges of jailbreak detection in terms of their effectiveness against known attacks. For further analysis, we release a dataset of model outputs across 3700 jailbreak prompts over 4 tasks.

연구 동기 및 목표

• 프롬프트 주입으로 다중 행위자 설정을 포함한 jailbreak 문제를 형식화한다.
• jailbreak 유형, 의도, 공격 방식의 분류 체계를 개발한다.
• 여러 모델과 작업에 걸쳐 공격 효과를 경험적으로 평가한다.
• 완화를 위한 제한된 프롬프트 가드 전략을 제안하고 평가한다.
• jailbreaks 탐지 및 방어의 도전과제에 대해 논의한다.

제안 방법

• 프롬프트 프롬프트 프레임워크를 정의한다. 프롬프터, 최종 사용자를 포함하고 미스얼라인먼트/공격 개념을 포함한다.
• jailbreaks를 언어적 변환, 공격자 의도, 공격 방식에 따라 분류한다.
• 작업 간 발산을 측정하기 위한 특성 테스트를 설계하고 실행한다(번역, 분류, 코드 생성, 요약) 및 모델(OPT, BLOOM, GPT-3.5, FLAN-T5-xxl)에서의 공격.
• 기본 프롬프트와 수작업으로 제작된 49개의 공격 프롬프트를 사용하여 작업 및 모델 전반의 공격 성공 여부를 평가한다.
• 성능 차이를 설명하고 가드레일 효과를 식별하기 위해 질적 모델 행동을 분석한다(프롬프트 형식화 및 체크섬).
• 한정된 완화 전략들(배치 프롬프트 가드, 체크섬 가드)과 그것들의 관찰된 효과를 논의한다.

Figure 1: A jailbreaking pipeline. (Attack borrowed from a social media post 2 2 2 shorturl.at/hjkmX )

실험 결과

연구 질문

• RQ1 LLM의 jailbreak를 변환 유형, 의도, 공격 방식에 걸쳐 어떻게 형식화하고 분류할 수 있는가?
• RQ2 다양한 모델과 작업에서 다양한 jailbreak의 효과는 어느 정도인가?
• RQ3 경량 방어책(프롬프트 가드)은 jailbreak를 완화할 수 있으며, 그 효과는 어떤가?
• RQ4 어떤 요인들(모델 크기, 학습, 아키텍처)이 jailbreak에 대한 강인성에 영향을 미치는가?

주요 결과

• 인지적 해킹은 테스트된 공격 유형 중 가장 성공적이며 실제 세계의 jailbreak에서도 가장 흔하다.
• 분류 작업은 테스트 조건하에 성공적인 jailbreak가 발견되지 않았고, 다른 작업은 더 취약했다.
• FLAN-T5-XXL은 대부분 축에서 OPT 및 BLOOM에 비해 일반적으로 성능이 낮았고 요약에서 공격 성공이 특히 낮았다.
• GPT-3.5 text-davinci-003는 많은 공격에 더 강건해 보였으며, 이는 훈련으로부터의 더 강한 정렬 또는 강건성을 시사한다.
• 프롬프트 가드(특히 text-davinci-003에 대해)는 Direct Instruction 공격에 대해 효과적일 수 있어, 잠재적 실용적 완화책을 시사한다.
• 이 연구는 위생처리, 전처리의 필요성과 방어 설계에서 모델 기능성과 보안 간의 균형을 인정할 필요성을 강조한다.

Figure 2: Setup describing the attack process and manner of attack