[논문 리뷰] MasterKey: Automated Jailbreak Across Multiple Large Language Model Chatbots

Gelei Deng, Yi Liu외 7명|arXiv (Cornell University)|2023. 07. 16.

Topic Modeling인용 수 17

한 줄 요약

MASTERKEY는 시간 기반 방어 역설계와 자동 jailbreaking 프롬프트 생성을 통해 일반적인 LLM 챗봇의 탈출 방어를 연구하는 엔드-투-엔드 프레임워크를 제시하며, GPT-3.5/4, Bard, Bing Chat, 및 Ernie에서 주목할 만한 탈출 성공을 달성했다.

ABSTRACT

Large Language Models (LLMs) have revolutionized Artificial Intelligence (AI) services due to their exceptional proficiency in understanding and generating human-like text. LLM chatbots, in particular, have seen widespread adoption, transforming human-machine interactions. However, these LLM chatbots are susceptible to "jailbreak" attacks, where malicious users manipulate prompts to elicit inappropriate or sensitive responses, contravening service policies. Despite existing attempts to mitigate such threats, our research reveals a substantial gap in our understanding of these vulnerabilities, largely due to the undisclosed defensive measures implemented by LLM service providers. In this paper, we present Jailbreaker, a comprehensive framework that offers an in-depth understanding of jailbreak attacks and countermeasures. Our work makes a dual contribution. First, we propose an innovative methodology inspired by time-based SQL injection techniques to reverse-engineer the defensive strategies of prominent LLM chatbots, such as ChatGPT, Bard, and Bing Chat. This time-sensitive approach uncovers intricate details about these services' defenses, facilitating a proof-of-concept attack that successfully bypasses their mechanisms. Second, we introduce an automatic generation method for jailbreak prompts. Leveraging a fine-tuned LLM, we validate the potential of automated jailbreak generation across various commercial LLM chatbots. Our method achieves a promising average success rate of 21.58%, significantly outperforming the effectiveness of existing techniques. We have responsibly disclosed our findings to the concerned service providers, underscoring the urgent need for more robust defenses. Jailbreaker thus marks a significant step towards understanding and mitigating jailbreak threats in the realm of LLM chatbots.

연구 동기 및 목표

• 주요 LLM 챗봇이 OpenAI의 ChatGPT를 넘어선 탈출 시도에 왜 저항하는지 이해한다.
• 시간 기반 테스트 비유를 사용하여 공개되지 않은 방어 메커니즘을 역설계하고 방어 전략을 추론한다.
• 다양한 LLM 챗봇에서 보편적인 jailbreaking 프롬프트를 생성하는 자동화된 방법을 개발한다.
• 다중 챗봇 간의 jailbreaking 일반화를 시演하고 더 강력한 방어가 필요한 영역을 식별한다.

제안 방법

• 시간 기반 응답 생성을 LLM 챗봇의 내부 방어 메커니즘을 추론하기 위한 대리 지표로 활용한다.
• SQL 주입에서 영감을 얻은 시간 기반 블라인드 테스트를 Bard와 Bing Chat 방어에 적용한다.
• 자동으로 jailbreaking 프롬프트를 생성하는 LLM을 학습시키기 위한 RLHF 기반의 3단계 파이프라인 구성(데이터셋 구축, 지속적 사전 학습 및 태스크 튜닝, 보상 랭킹 기반 미세 조정).
• 850개의 생성 프롬프트로 GPT-3.5, GPT-4, Bard, Bing Chat, Ernie에서 jailbreaking 프롬프트를 평가한다.
• 모델 간 jailbreaking 효과를 평가하기 위해 쿼리 성공률과 프롬프트 성공률을 측정한다.

실험 결과

연구 질문

• RQ1 RQ1: LLM 챗봇 서비스 제공자들이 제시하는 이용 정책은 무엇인가?
• RQ2 RQ2: 기존의 jailbreaking 프롬프트가 상용 LLM 챗봇에 얼마나 효과적인가?
• RQ3 RQ3: 공개되지 않은 방어가 주요 LLM 챗봇 전반에서 어떻게 작동하는가?
• RQ4 RQ4: 자동화된 시스템이 모델 간 일반화되는 jailbreaking 프롬프트를 생성할 수 있는가?

주요 결과

• 기존의 jailbreaking 프롬프트는 주로 CHATGPT에서 효과적이지만 Bard와 Bing Chat에서는 성공이 제한적이다.
• OpenAI 모델(GPT-3.5 및 GPT-4)은 기존 프롬프트로 더 높은 jailbreaking 성공을 보이며, 범주 전반에서 평균 21.12%를 나타낸다.
• Bard와 Bing Chat은 기존 프롬프트에서 훨씬 낮은 성공률을 보이며(패턴당 평균 0.40% 및 0.63%).
• 본 연구는 Bard(쿼리 성공률 14.51%) 및 Bing Chat(쿼리 성공률 13.63%)의 성공적인 jailbreaking을 문서화한다.
• 시간 기반 테스트 접근법은 Bard와 Bing Chat이 입력 프롽프트보다 출력 기반(생성 시간) 검사를 적용하는 경향이 크며, 이는 동적 콘텐츠 조정을 시사한다.
• 자동 jailbreaking 생성기가 평가된 모델들에서 전체 쿼리 성공률 21.58%와 프롬프트 성공률 26.05%를 달성한다.
• 이 프레임워크는 여러 LLM 챗봇과 프롬프트에 걸친 jailbreaking 일반화를 보여주며 취약점을 강조하고 더 강력한 방어의 필요성을 시사한다.