[논문 리뷰] Intention Analysis Makes LLMs A Good Jailbreak Defender

Yuqi Zhang, Liang Ding외 2명|arXiv (Cornell University)|2024. 01. 12.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 인공지능 모델이 응답을 생성하기 전에 사용자의 본질적 의도를 분석하도록 이끌어 안전성을 향상시키는 추론 전용 방식인 의도 분석 프롬프팅(IAPrompt)을 제안한다. 두 단계 프로세스인 의도 분석 및 정책 준수 응답 생성을 통해 다양한 모델과 벤치마크에서 평균 46.5%의 해킹 공격 성공률 감소를 이끌었으며, 유용성은 유지하였다.

ABSTRACT

Aligning large language models (LLMs) with human values, particularly when facing complex and stealthy jailbreak attacks, presents a formidable challenge. Unfortunately, existing methods often overlook this intrinsic nature of jailbreaks, which limits their effectiveness in such complex scenarios. In this study, we present a simple yet highly effective defense strategy, i.e., Intention Analysis ($\mathbb{IA}$). $\mathbb{IA}$ works by triggering LLMs' inherent self-correct and improve ability through a two-stage process: 1) analyzing the essential intention of the user input, and 2) providing final policy-aligned responses based on the first round conversation. Notably, $\mathbb{IA}$ is an inference-only method, thus could enhance LLM safety without compromising their helpfulness. Extensive experiments on varying jailbreak benchmarks across a wide range of LLMs show that $\mathbb{IA}$ could consistently and significantly reduce the harmfulness in responses (averagely -48.2% attack success rate). Encouragingly, with our $\mathbb{IA}$, Vicuna-7B even outperforms GPT-3.5 regarding attack success rate. We empirically demonstrate that, to some extent, $\mathbb{IA}$ is robust to errors in generated intentions. Further analyses reveal the underlying principle of $\mathbb{IA}$: suppressing LLM's tendency to follow jailbreak prompts, thereby enhancing safety.

연구 동기 및 목표

• LLM에서 기존의 정렬 방법을 우회하는 도전적인 해킹 공격의 증가 추세를 해결하기 위해.
• 모델의 유용성에 영향을 주지 않으면서 파라미터 미세조정 없이도 안전성을 향상시킬 수 있는 방식을 개발하기 위해.
• LLM의 내재된 자기 수정 능력과 의도 이해 능력을 활용해 강력하고 확장 가능한 안전성 확보를 위해.
• 사용자 쿼리의 악성 의도를 탐지하고 완화하는 데 있어 의도 분석이 핵심 요소임을 검증하기 위해.

제안 방법

• IAPrompt는 두 단계의 프롬프팅 프레임워크를 활용한다: 첫 번째 단계에서는 모델이 사용자 쿼리의 핵심 의도를 안전성, 윤리성, 합법성에 중점을 두고 분석한다.
• 두 번째 단계에서는 첫 번째 단계에서 분석한 의도를 바탕으로 안전 정책에 부합하는 응답을 생성한다.
• 의도적 추론의 흐름(Chain-of-Thought, CoT) 프롬프팅을 활용해 단계적 추론을 유도함으로써, 숨겨진 악성 의도의 탐지 능력과 해석 가능성 향상을 높인다.
• 이 방법은 완전히 추론 기반이며, 모델 미세조정이나 외부 도구가 필요 없어 비용 효율적이고 즉각적인 구현이 가능하다.
• 표면적 토큰이 아닌 의도에 초점을 맞춤으로써, LLM의 자체 추론 능력을 활용해 미묘하고 도전적인 해킹 프롬프트를 탐지한다.
• 이 방법은 다양한 모델(Vicuna, ChatGLM, MPT, DeepSeek, GPT-3.5)과 벤치마크(SAP200, DAN, AdvBench)에서 평가되어 일관된 성능을 보였다.

실험 결과

연구 질문

• RQ1 LLM은 외부 감시 없이도 자기 분석을 통해 해킹 프롬프트의 악성 의도를 효과적으로 탐지할 수 있는가?
• RQ2 의도 분석과 정책 준수 응답을 두 단계로 나누는 메커니즘이 다양한 모델과 공격 유형에서 공격 성공률을 크게 감소시키는가?
• RQ3 의도 분석 모델의 규모가 성능에 미치는 영향은 무엇이며, 작은 모델로도 효과적인 탐지가 가능한가?
• RQ4 IAPrompt는 일반 목적의 벤치마크에서 안전성을 향상시키는 동안 모델의 유용성을 어느 정도 유지하는가?
• RQ5 LLM 기반의 해로움 탐지 결과가 인간이 평가한 해로움 수준과 얼마나 관련이 깊은가?

주요 결과

• IAPrompt는 SAP200 및 DAN 벤치마크에서 평균 공격 성공률(ASR)을 46.5% 감소시켜 강력하고 일관된 방어 성능을 입증했다.
• SAP200 및 DAN 데이터셋에서 IAPrompt는 유해 응답 비율이 거의 0에 가까웠으며, Vicuna-13B 및 Vicuna-7B 모델의 공격 성공률은 각각 0.31%와 0.62%로 떨어졌다.
• TruthfulQA 결과를 통해 모델의 일반 성능에 변화가 없음을 확인했으며, 높은 유용성을 유지했다.
• Vicuna-7B, Vicuna-13B, MPT-30B-Chat 등의 모델은 의도 분석에서 100% 성공을 기록해 악성 의도를 숨기고 있는지를 효과적으로 탐지하는 능력을 보였다.
• 의도가 정확히 식별된 경우 98.74%의 응답이 해로움이 아니었으며, 이는 메서드의 안전 정책 준수 능력이 매우 높다는 것을 확인한다.
• 인간 평가 결과 평가자 간 일치도 97%였고, GPT-3.5는 일반 모델에 대해 인간 레이블과 99% 일치했으며, IAPrompt에 대해서도 93% 일치를 보여 높은 신뢰성을 입증했다.