[論文レビュー] Latent Jailbreak: A Benchmark for Evaluating Text Safety and Output Robustness of Large Language Models

Huachuan Qiu, Shuai Zhang+3 more|arXiv (Cornell University)|Jul 17, 2023

Topic Modeling被引用数 11

ひとこと要約

本論文は Latent Jailbreak を紹介します。データセットとフレームワークを用いて、潜在的ジャailbreak プロンプトに対する LLM の安全性と出力頑健性を評価し、命令の配置、キーワード、対象グループ、動詞、毒性形容詞がジャイルブレークの成功と頑健性に与える影響を分析します。

ABSTRACT

Considerable research efforts have been devoted to ensuring that large language models (LLMs) align with human values and generate safe text. However, an excessive focus on sensitivity to certain topics can compromise the model's robustness in following instructions, thereby impacting its overall performance in completing tasks. Previous benchmarks for jailbreaking LLMs have primarily focused on evaluating the safety of the models without considering their robustness. In this paper, we propose a benchmark that assesses both the safety and robustness of LLMs, emphasizing the need for a balanced approach. To comprehensively study text safety and output robustness, we introduce a latent jailbreak prompt dataset, each involving malicious instruction embedding. Specifically, we instruct the model to complete a regular task, such as translation, with the text to be translated containing malicious instructions. To further analyze safety and robustness, we design a hierarchical annotation framework. We present a systematic analysis of the safety and robustness of LLMs regarding the position of explicit normal instructions, word replacements (verbs in explicit normal instructions, target groups in malicious instructions, cue words for explicit normal instructions), and instruction replacements (different explicit normal instructions). Our results demonstrate that current LLMs not only prioritize certain instruction verbs but also exhibit varying jailbreak rates for different instruction verbs in explicit normal instructions. Code and data are available at https://github.com/qiuhuachuan/latent-jailbreak.

研究の動機と目的

• LLM の安全性と頑健性の評価を、ジャイルブレークの成功だけでなくバランスよく行うことを促す。
• 通常のタスク（例：翻訳）に悪意のある指示を埋め込んだ潜在的ジャイルブレーク・プロンプトを提案する。
• さまざまなプロンプト操作の下でテキストの安全性と出力の頑健性を評価する階層的な注釈フレームワークを開発する。

提案手法

• Explicit な通常指示と暗黙の悪意指示を含む潜在的ジャイルブレーク・プロンプトデータセットを構築し、前置/後置などの位置変種を含める。
• 13 のプロンプトテンプレートと 16 のターゲットグループ語と 2 つの位置に跨る合計 416 の潜在的ジャイルブレーク・プロンプトを開発する。
• 明示的な通常指示に連動する安全性ラベリングと頑健性評価を備えた、安全性と頑健性のフレームワークを設計する。
• 中国語英語対応の LLM 三つ（ChatGLM2-6B、BELLE-7B-2M、ChatGPT）を核心抽出サンプリングと固定ハイパーパラメータで使用し、各プロンプトにつき 30 回の出力を生成する。
• 人手ラベリングデータで RoBERTa 分類器をファインチューニングして、モデル出力の安全性と頑健性を自動的にラベル付けできるようにする。
• ジャイルブレーク成功率 P_J、指示遵守率 P_R、そして結合的な信頼性 P = (1 - P_J) * P_R を評価する。

実験結果

リサーチクエスチョン

• RQ1 潜在的ジャイルブレーク・プロンプトは、モデル間で出力の安全性にどのような影響を与えるか。
• RQ2 明示的な通常指示の位置（前置 vs 後置）は、安全性と頑健性にどのような影響を及ぼすか。
• RQ3 キーワード、ターゲットグループ、指示動詞、毒性形容詞がジャイルブレークの脆弱性や指示遵守の頑健性に与える影響は。
• RQ4 ファインチューニング済み RoBERTa による自動ラベリングは、プロンプトを跨いでモデル出力の安全性と頑健性を正確に予測できるか。

主な発見

• ChatGLM2-6B は潜在的ジャイルブレークの最も高い脆弱性を示す（P1 の場合 75.3%）。
• BELLE-7B-2M は中程度の脆弱性を示し（P1 で 50.4%）、いくつかの設定で指示遵守が強い。
• ChatGPT は unsafe な応答が少ない一方で、明示的な指示の遵守には苦戦し、いくつかのプロンプトで頑健性が低い。
• 「文」などのキーワードは、モデル全体でジャイルブレークの成功を一般に低下させる。
• 明示的指示の動詞は安全性に影響を与え、特定の動詞は特定のモデルで unsafe な出力を増加させる。
• 暗黙の指示に含まれる毒性形容詞は、モデル間で unsafe な応答をさまざまに引き起こし、BELLE-7B-2M は特定の形容詞に敏感である。