[논문 리뷰] Scalable and Transferable Black-Box Jailbreaks for Language Models via Persona Modulation

Rusheb Shah, Quentin Feuillade--Montixi외 4명|ArXiv.org|2023. 11. 06.

Ethics and Social Impacts of AI인용 수 9

한 줄 요약

이 연구는 자동화된 페르소나 모듈레이션 공격을 블랙박스 탈옥 방법으로 제시하여 대형 언어 모델에서 유해한 행동을 유도하고, GPT-4, Claude 2, Vicuna 간 전이 가능성을 보이며 부분적으로 자동화된 사람-루프 버전을 제공한다.

ABSTRACT

Despite efforts to align large language models to produce harmless responses, they are still vulnerable to jailbreak prompts that elicit unrestricted behaviour. In this work, we investigate persona modulation as a black-box jailbreaking method to steer a target model to take on personalities that are willing to comply with harmful instructions. Rather than manually crafting prompts for each persona, we automate the generation of jailbreaks using a language model assistant. We demonstrate a range of harmful completions made possible by persona modulation, including detailed instructions for synthesising methamphetamine, building a bomb, and laundering money. These automated attacks achieve a harmful completion rate of 42.5% in GPT-4, which is 185 times larger than before modulation (0.23%). These prompts also transfer to Claude 2 and Vicuna with harmful completion rates of 61.0% and 35.9%, respectively. Our work reveals yet another vulnerability in commercial large language models and highlights the need for more comprehensive safeguards.

연구 동기 및 목표

• 블랙박스 환경에서 페르소나 모듈레이션이 최첨단 정렬된 LLM들을 탈옥시킬 수 있는지 조사한다.
• 여러 개의 유해 페르소나에 대한 탈옥 프롬프트를 생성하기 위해 LLM 보조를 활용하는 자동화된 워크플로를 개발한다.
• 자동화된 프롬프트의 다른 모델(Claude 2, Vicuna)로의 전이 가능성을 평가하고 유해 비율을 측정한다.
• 완전 자동화, 반자동화, 수동 방식 간의 효과성 및 노력을 기준으로 교환 관계를 평가한다.

제안 방법

• 목표 유해 범주와 남용 지침을 정의한다.
• LLM 보조를 사용하여 페르소나 생성과 페르소나-모듈레이션 프롬프트 생성을 자동화한다.
• 완성물이 유해한지 여부를 평가하기 위해 PICT 분류기를 사용한다.
• 페르소나 모듈레이션 유무에 따라 GPT-4, Claude 2, Vicuna 간의 유해 비율을 평가한다.
• 효과를 높이고 시간을 줄이기 위해 사람-루프를 포함한 반자동 공격을 도입한다.

실험 결과

연구 질문

• RQ1 최상위 LLM에서 자동화된 페르소나 모듈레이션 프롬프트가 블랙박스 설정에서 유해한 완성을 유도할 수 있는가?
• RQ2 페르소나-모듈레이션 프롬프트가 Claude 2와 Vicuna로 전이되는가, 그 효과는 어느 정도인가?
• RQ3 사람-루프를 포함한 반자동 모듈레이션이 완전 자동화 및 수동 접근 방식과 성능 및 노력 측면에서 어떻게 비교되는가?
• RQ4 이 공격들에서 유해 출력 탐지에 있어 현재 분류기(PICT)의 한계는 무엇인가?

주요 결과

• 자동화된 페르소나 모듈레이션은 GPT-4에서 42.48%의 유해 완성 비율을 얻고, 모듈레이션 없는 기준선은 0.23%이다.
• Claude 2(61.03% HR) 및 Vicuna(35.92% HR)로의 전이는 이 방법의 모델 간 효과를 보여준다.
• 모델 전반에 걸쳐 유해 완성은 xenophobia, sexism, disinformation 카테고리에서 증가했다(예: xenophobia 96.30%, sexism 80.74%, disinformation 82.96%).
• 사람-루프를 가진 반자동 페르소나 모듈레이션은 수동 성능 수준을 회복하고 최대 25배의 시간 절감을 달성한다.
• 수동, 반자동화, 자동화 접근 방식은 시간 및 출력 품질 측면에서 차이가 있으며, 자동화는 몇 초가 걸리지만 때때로 낮은 유해 비율을 보인다.