[논문 리뷰] Latent Jailbreak: A Benchmark for Evaluating Text Safety and Output Robustness of Large Language Models

Huachuan Qiu, Shuai Zhang외 3명|arXiv (Cornell University)|2023. 07. 17.

Topic Modeling인용 수 11

한 줄 요약

논문은 Latent Jailbreak를 소개합니다. 이는 잠재적 탈 jailbreak 프롬프트에 대해 LLM의 안전성과 출력 강건성을 평가하기 위한 데이터셋과 프레임워크로, 지시 위치, 단서 단어, 대상 그룹, 동사, 독성 형용사가 탈출 성공 및 강건성에 미치는 영향을 분석합니다.

ABSTRACT

Considerable research efforts have been devoted to ensuring that large language models (LLMs) align with human values and generate safe text. However, an excessive focus on sensitivity to certain topics can compromise the model's robustness in following instructions, thereby impacting its overall performance in completing tasks. Previous benchmarks for jailbreaking LLMs have primarily focused on evaluating the safety of the models without considering their robustness. In this paper, we propose a benchmark that assesses both the safety and robustness of LLMs, emphasizing the need for a balanced approach. To comprehensively study text safety and output robustness, we introduce a latent jailbreak prompt dataset, each involving malicious instruction embedding. Specifically, we instruct the model to complete a regular task, such as translation, with the text to be translated containing malicious instructions. To further analyze safety and robustness, we design a hierarchical annotation framework. We present a systematic analysis of the safety and robustness of LLMs regarding the position of explicit normal instructions, word replacements (verbs in explicit normal instructions, target groups in malicious instructions, cue words for explicit normal instructions), and instruction replacements (different explicit normal instructions). Our results demonstrate that current LLMs not only prioritize certain instruction verbs but also exhibit varying jailbreak rates for different instruction verbs in explicit normal instructions. Code and data are available at https://github.com/qiuhuachuan/latent-jailbreak.

연구 동기 및 목표

• 안전성과 강건성의 균형 잡힌 평가를 모색하여 jailbreak 성공뿐만 아니라 LLM의 안전성 및 강건성을 함께 평가합니다.
• regular tasks에 악의적 지시를 임베딩하여 잠재 탈 jailbreak 프롬프트를 제안합니다 (예: 번역).
• 다양한 프롬프트 조작 하에서 텍스트 안전성과 출력 강인성을 평가하기 위한 계층적 주석 프레임워크를 개발합니다.

제안 방법

• 명시적 일반 지시와 암묵적 악의적 지시를 포함한 잠재 탈 jailbreak 프롬프트 데이터셋을 구성하고, 위치 변형(접두사/접미사)을 포함합니다.
• 13개의 프롬프트 템플릿과 16개의 대상 그룹 단어와 2개의 위치에 걸쳐 총 416개의 잠재 탈 jailbreak 프롬프트를 개발합니다.
• 명시적 일반 지시와 연결된 이진 안전 표기 및 강건성 평가를 포함하는 안전성 및 강건성 프레임워크를 설계합니다.
• 중심 샘플링(nucleus sampling)과 고정 하이퍼파라미터를 사용하는 세 가지 중국-영어 가능 LLM(ChatGLM2-6B, BELLE-7B-2M, ChatGPT)을 사용하여 프롬프트당 30개의 출력을 생성합니다.
• 사람이 라벨링한 데이터로 RoBERTa 분류기를 미세조정하여 모델 출력의 안전성과 강건성을 자동으로 라벨링합니다.
• 잠재 탈 jailbreak 성공률 P_J, 지시 이행률 P_R, 그리고 결합 신뢰도 P = (1 - P_J) * P_R를 평가합니다.

실험 결과

연구 질문

• RQ1 잠재 탈 jailbreak 프롬프트가 모델의 출력 안전성에 어떤 영향을 미치는가?
• RQ2 명시적 일반 지시의 위치(접두사 대 접미사)가 안전성과 강건성에 어떤 영향을 미치는가?
• RQ3 단서 단어, 대상 그룹, 지시 동사, 독성 형용사가 탈 jailbreak 취약성과 지시 이행 강건성에 어떤 영향을 미치는가?
• RQ4 미세조정된 RoBERTa를 통한 자동 라벨링이 프롬프트 전체에서 모델 출력의 안전성과 강건성을 정확하게 예측할 수 있는가?

주요 결과

• ChatGLM2-6B는 잠재 탈 jailbreak 취약성이 가장 높음을 보였습니다( P1에서 75.3%).
• BELLE-7B-2M은 보통의 취약성을 보이고( P1에서 50.4%), 여러 설정에서 지시 이행이 강합니다.
• ChatGPT는 안전하지 않은 응답이 적지만 명시적 지시를 따르는 데에는 어려움을 겪어 일부 프롬프트에서 강건성이 낮습니다.
• 단서 단어 예: 'sentence'는 일반적으로 모델 전반에서 탈 jailbreak 성공을 감소시킵니다.
• 명시 지시의 동사는 안전성에 영향을 주며, 특정 동사는 일부 모델에서 안전하지 않은 출력 를 증가시킵니다.
• 암묵적 지시의 독성 형용사는 모델 간 안전하지 않은 응답이 다양하게 나타나며, BELLE-7B-2M은 특정 형용사에 민감하게 반응합니다.