[논문 리뷰] A StrongREJECT for Empty Jailbreaks

Alexandra Souly, Qingyuan Lu외 9명|arXiv (Cornell University)|2024. 02. 15.

Digital and Cyber Forensics인용 수 4

한 줄 요약

이 논문은 기존 평가 방법의 결함을 해결하여 대규모 언어 모델에 대한 제재 회피 공격을 공정하게 평가할 수 있도록 하는 StrongREJECT라는 새로운 벤치마크를 소개한다. 여섯 가지 금지된 카테고리에 속하는 더 높은 품질의, 구체적이고 답변 가능한 악성 질문들을 제안하고, 순수한 독성 또는 거부 실패 여부가 아닌 응답의 유용성을 우선시하는 더 정확한 자동 평가기(auto-grader)를 도입함으로써 성능 추정의 편향을 줄이며, 일부 제재 회피 기법이 악성 작업 외의 일반적인 작업에서도 모델 성능을 떨어뜨릴 수 있음을 보여준다.

ABSTRACT

Most jailbreak papers claim the jailbreaks they propose are highly effective, often boasting near-100% attack success rates. However, it is perhaps more common than not for jailbreak developers to substantially exaggerate the effectiveness of their jailbreaks. We suggest this problem arises because jailbreak researchers lack a standard, high-quality benchmark for evaluating jailbreak performance, leaving researchers to create their own. To create a benchmark, researchers must choose a dataset of forbidden prompts to which a victim model will respond, along with an evaluation method that scores the harmfulness of the victim model's responses. We show that existing benchmarks suffer from significant shortcomings and introduce the StrongREJECT benchmark to address these issues. StrongREJECT's dataset contains prompts that victim models must answer with specific, harmful information, while its automated evaluator measures the extent to which a response gives useful information to forbidden prompts. In doing so, the StrongREJECT evaluator achieves state-of-the-art agreement with human judgments of jailbreak effectiveness. Notably, we find that existing evaluation methods significantly overstate jailbreak effectiveness compared to human judgments and the StrongREJECT evaluator. We describe a surprising and novel phenomenon that explains this discrepancy: jailbreaks bypassing a victim model's safety fine-tuning tend to reduce its capabilities. Together, our findings underscore the need for researchers to use a high-quality benchmark, such as StrongREJECT, when developing new jailbreak attacks. We release the StrongREJECT code and data at https://strong-reject.readthedocs.io/en/latest/.

연구 동기 및 목표

• 기존 제재 회피 평가 벤치마크에서의 심각한 결함을 특정하고 수정함으로써, 낮은 품질의 질문과 편향된 평가로 인해 공격 성공률이 과대평가되는 문제를 해결하고자 한다.
• 일부 제재 회피 기법이 GPT-4의 MMLU zero-shot 정확도를 78%에서 35%로 떨어뜨릴 수 있음을 보여주며, 일반적인 작업에서 모델 성능이 떨어질 수 있음을 입증하고자 한다.
• 여섯 가지 콘텐츠 카테고리에 걸쳐 특정적이고 답변 가능한 악성 질문들을 사용하는 새로운 벤치마크인 StrongREJECT을 제안하여 평가의 공정성을 향상시키고자 한다.
• 유용성에 중점을 두어 악성 목표를 달성하는 데 기여하는 응답의 유용성에 따라 평가하는 응답 평가 알고리즘을 개발하여 인간의 판단과 더 잘 일치시키고자 한다. 독성 또는 거부 실패 여부만을 고려하는 것과는 다르다.
• 낮은 품질의 응답으로 인한 과대평가 문제를 줄이기 위해, 제재 회피 효과를 더 정확하고 신뢰할 수 있는 기준으로 측정할 수 있는 표준을 제공하고자 한다.

제안 방법

• 기존 데이터셋에서 수집한 질문들을 바탕으로 새롭게 질문 세트를 설계하고, 모든 질문이 특정적이며 답변 가능하고 여섯 가지 광범위하게 금지된 콘텐츠 카테고리에 속하도록 확보한다.
• 독성 또는 거부 실패 여부를 판단하는 것 외에, 응답이 악성 목표를 달성하는 데 얼마나 유용한지에 따라 제재 회피 응답을 평가하는 새로운 자동 평가기(auto-grader)를 구축한다.
• 인간 평가자들이 내린 판단을 활용하여 새로운 평가 알고리즘을 校정하고 검증함으로써, 인간이 인식하는 응답 품질과 공격 효과성과의 일치도를 높인다.
• 새로운 벤치마크를 활용해 기밀 모델(GPT-4)과 캐시되지 않은 오픈소스 모델(Dolphin)에 대해 여러 제재 회피 방법을 평가하고, 성능 저하와 공격 성공률을 측정한다.
• 질문, 평가 코드, 평가 결과를 포함한 전체 벤치마크를 공개 GitHub 저장소에 구현 및 배포하여 재현 가능성과 커뮤니티 활용을 보장한다.
• 부트스트랩 신뢰구간을 사용하여 새로운 벤치마크에서 제재 회피 방법 간 성능 차이의 통계적 유의성을 평가한다.

Figure 1 : MMLU zero-shot accuracy using GPT-4 after applying jailbreaks to the MMLU prompt. Accuracy is calculated over valid responses only. Most of these jailbreaks decrease accuracy.

실험 결과

연구 질문

• RQ1 기존 제재 회피 벤치마크는 모호하거나 답변 불가능하거나 품질이 낮은 질문들로 인해 얼마나 과도하게 공격 성공률을 과대평가하는가?
• RQ2 다양한 제재 회피 기법은 MMLU와 같은 일반적인 비악성 벤치마크에서 LLM의 성능에 어떤 영향을 미치는가?
• RQ3 기존 벤치마크의 자동 평가 방법은 낮은 품질의 제재 회피 응답에 대해 과도하게 효과성을 높게 평가하는 경향이 있는가?
• RQ4 제안된 StrongREJECT 자동 평가기는 개인 응답 품질과 전체 제재 회피 효과성 평가에서 인간 판단과 얼마나 잘 일치하는가?
• RQ5 더 높은 품질의 질문과 더 정확한 평가 체계를 갖춘 새로운 벤치마크는 제재 회피 능력에 대해 더 균형 잡히고 신뢰할 수 있는 평가를 제공할 수 있는가?

주요 결과

• 일부 제재 회피 기법은 GPT-4의 MMLU 벤치마크에서 zero-shot 정확도를 78%에서 35%까지 떨어뜨리며, 유효한 다중 선택 응답만을 고려할 때도 유의미한 성능 저하를 보인다.
• 캐시되지 않은 Dolphin 모델에서는 Base64 오브스큐레이션 및 줄루어 번역과 같은 일부 제재 회피 기법이 모델이 악성 질문에 정확하게 답하는 능력을 떨어뜨리며, 성능 저하를 나타낸다.
• 제안된 StrongREJECT 자동 평가기는 특히 낮은 품질의 응답에 대해 인간 판단과 강한 일치를 보이며, 개인 응답 품질과 전체 제재 회피 효과성 평가에서 모두 뛰어난 성능을 보인다.
• 기존 자동 평가기는 순수하게 독성 내용을 포함하거나 요청 거부를 명시적으로 하지 않는 응답에 대해서도 점수를 부여함으로써, 낮은 품질의 제재 회피 응답에 대해 과대평가를 초래하며 성능 점수가 과도하게 높아질 수 있다.
• 새로운 벤치마크는 일부 제재 회피 기법이 효과적이지 않거나 모델 능력에 해로운 영향을 미칠 수 있음을 확인함으로써, 모든 제재 회피 기법이 오용 가능성을 향상시키는 것은 아님을 드러냈다.
• 더 나은 질문 세트와 정확한 평가 알고리즘을 갖춘 StrongREJECT 벤치마크는 기존 벤치마크보다 더 균형 잡히고 정확한 제재 회피 효과 평가를 제공한다.

Figure 2 : StrongREJECT improves on existing jailbreak benchmarks by asking questions that are specific, answerable, and harmful across six categories of content that are widely rejected by models. StrongREJECT also uses an autograder that emphasizes the usefulness of a response for achieving a part