[論文レビュー] Red-Teaming Large Language Models using Chain of Utterances for Safety-Alignment

Rishabh Bhardwaj, Soujanya Poria|arXiv (Cornell University)|Aug 18, 2023

Topic Modeling被引用数 16

ひとこと要約

この論文は、Chain of Utterances プロンプトを用いた red-teaming の Red-Eval を導入し、害のある質問への回答を引き出す。さらに HarmfulQA データを用いて安全性を向上させつつ有用性の低下を最小限に抑える Red-Instruct により、モデルを安全に alignment する（Starling）関連を提案する。

ABSTRACT

Larger language models (LLMs) have taken the world by storm with their massive multi-tasking capabilities simply by optimizing over a next-word prediction objective. With the emergence of their properties and encoded knowledge, the risk of LLMs producing harmful outputs increases, making them unfit for scalable deployment for the public. In this work, we propose a new safety evaluation benchmark RED-EVAL that carries out red-teaming. We show that even widely deployed models are susceptible to the Chain of Utterances-based (CoU) prompting, jailbreaking closed source LLM-based systems such as GPT-4 and ChatGPT to unethically respond to more than 65% and 73% of harmful queries. We also demonstrate the consistency of the RED-EVAL across 8 open-source LLMs in generating harmful responses in more than 86% of the red-teaming attempts. Next, we propose RED-INSTRUCT--An approach for the safety alignment of LLMs. It constitutes two phases: 1) HARMFULQA data collection: Leveraging CoU prompting, we collect a dataset that consists of 1.9K harmful questions covering a wide range of topics, 9.5K safe and 7.3K harmful conversations from ChatGPT; 2) SAFE-ALIGN: We demonstrate how the conversational dataset can be used for the safety alignment of LLMs by minimizing the negative log-likelihood over helpful responses and penalizing over harmful responses by gradient accent over sample loss. Our model STARLING, a fine-tuned Vicuna-7B, is observed to be more safely aligned when evaluated on RED-EVAL and HHH benchmarks while preserving the utility of the baseline models (TruthfulQA, MMLU, and BBH).

研究の動機と目的

• 安全性評価ベンチマーク Red-Eval を開発し、Chain of Utterances (CoU) を用いて有害なプロンプトに対する LLM の脆弱性をテストする。
• デプロイ済みのクローズドソースおよびオープンソースの LLM に対して、CoU ベースの jailbreak の有効性を実証する。
• HarmfulQA データ収集と Safe-Align 戦略を提案し、有用性を損なうことなく安全性を向上させる。

提案手法

• Red-Eval は CoU ベースの jailbreak プロンプトを用い、Red-LM と Base-LM を対立させて有害な質問に対する有害な回答を引き出す。
• GPT-4、ChatGPT のクローズドソースとオープンソースモデルの攻撃成功率 ASR を、200/1,960 の有害な質問と GPT-4/ChatGPT を judge として評価する。
• HarmfulQA は、CoU プロンプトを用いた blue（無害）と red（有害）対話を ChatGPT で生成し、1,960 の有害質問と 9,536 の blue、7,356 の red の対話を得る。
• Red-Instruct は二つの phase： HarmfulQA データ生成と Vicuna-7B から Starling への Safe-Align のファインチューニングで、二つの戦略（Strategy-A は blue-data のみ、Strategy-B は blue+red データで red データの影響を制御）を用意。
• Starling を blue/red のデータ混合と ShareGPT から提供されたデータで訓練し、有用性を維持。

Figure 1: Methodology depiction of Red-Instruct . Phase-1 construct HarmfulQA with harmful questions and corresponding harmless responses by CoU-based prompting, and harmful responses using CoU-based Red-teaming (proposed as a part of our Red-Eval safety benchmark). In phase-2, we utilize HarmfulQA

実験結果

リサーチクエスチョン

• RQ1 CoU ベースの prompting は、オープンソースとクローズドソースの LLM のガードレールを破るのにどの程度有効か？
• RQ2 HarmfulQA 由来の blue/red データを用いて、有用性を維持しつつ LLM をより安全または無害な挙動へと整列させることができるか？
• RQ3 blue データのみと blue+red データを用いた安全性整列戦略の相対的影響は、モデルの安全性と有用性にどのように現れるか？

主な発見

• Red-Eval は GPT-4 と ChatGPT で約69% の攻撃成功率を達成し、8つのオープンソースモデルでは 86% 超の ASR を達成。CoT ベースラインより顕著に改善。
• CoU プロンプトは、オープンソースモデルの red-teaming において Standard や CoT プロンプトを大きく上回り、約86% の ASR（CoT 約47%）に対して有効。
• Red-Instruct/HarmfulQA は Starling（Vicuna-7B）をより安全にしつつ、TruthfulQA、MMLU、BBH などのベンチマークで有用性を維持。
• 二つの Safe-Align 戦略を検討：Strategy-A（blue データのみ）と Strategy-B（blue+red データ、赤い回答からの勾配ベースのガイダンスを用意）。
• Starling（blue）は Vicuna-7B に対する安全性整列が改善され、Starling（blue-red）は訓練ダイナミクスのためさらに安全性トレードオフが生じる。

Figure 2: Jailbreak prompt template used in Red-Eval . Yellow and cyan colored are placeholders for a harmful query and response (as text completion) to be generated by LLM, respectively. The rest of the text is a part of the CoU-based prompt. $<$ c $>$ denotes the clipped text.