[論文レビュー] Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs

Yuxia Wang, Haonan Li+3 more|arXiv (Cornell University)|Aug 25, 2023

Software Engineering Research被引用数 4

ひとこと要約

本稿では、大規模言語モデル（LLM）のセーフティメカニズムを評価するための、初めてのオープンソースデータセット「Do-Not-Answer」を紹介している。このデータセットは、責任あるモデルが回答すべきでない939件の危険な指示を含む。また、人間がアノテートした応答を用いて訓練された、小規模なBERT類似分類器を用いた自動セーフティ評価手法を提案し、低コストでGPT-4と同等の性能を達成した。

ABSTRACT

With the rapid evolution of large language models (LLMs), new and hard-to-predict harmful capabilities are emerging. This requires developers to be able to identify risks through the evaluation of "dangerous capabilities" in order to responsibly deploy LLMs. In this work, we collect the first open-source dataset to evaluate safeguards in LLMs, and deploy safer open-source LLMs at a low cost. Our dataset is curated and filtered to consist only of instructions that responsible language models should not follow. We annotate and assess the responses of six popular LLMs to these instructions. Based on our annotation, we proceed to train several BERT-like classifiers, and find that these small classifiers can achieve results that are comparable with GPT-4 on automatic safety evaluation. Warning: this paper contains example data that may be offensive, harmful, or biased.

研究の動機と目的

• LLMにおける、特にセーフティメカニズムが整備されていないオープンソースモデルにおいて顕在化する有害な能力の増大リスクに対処するため。
• 責任あるLLMが拒否すべき危険な指示の標準化されたオープンデータセットを構築するため。
• 小規模で微調整された分類器を用いた、低コストで自動化されたLLMセーフティ評価手法を開発するため。
• 細分化されたリスク分類法を用いて、商用およびオープンソースのLLMのセーフティパフォーマンスをベンチマークするため。
• GPT-4のような高価なモデルに依存せずに、スケーラブルで信頼性の高いセーフティ評価を可能にするため。

提案手法

• 5つの異なる害のタイプをカバーする3段階の階層的リスク分類法を提案し、各カテゴリに少なくとも10件のプロンプトを設定することで、合計939件の危険な指示を構築した。
• GPT-4、LLaMA-2、Vicuna、ChatGLM2を含む6つのLLMから、これらの指示に対する5,000件を超えるモデル応答を収集・手動アノテートした。
• アノテート済みの応答を用いて、BERT類似分類器を訓練し、自動的な行動分類および有害応答検出を実行した。
• 入力として指示-応答ペairと応答のみの2通りを用いて、文脈の有無が分類性能に与える影響を評価した。
• Longformer（2048トークンの文脈長）とBERT（512トークンの文脈長）を比較し、文脈長が複雑な有害行動の検出に与える影響を評価した。
• 精度とマクロF1を指標として用い、小規模な分類器の性能をGPT-4（人間に類似した評価者としての役割）と比較してベンチマークした。

Figure 1: A comprehensive evaluation of LLM safeguards.

実験結果

リサーチクエスチョン

• RQ1 60000万パラメータ未満の微調整済みBERT類似モデルは、GPT-4と同等のセーフティ評価性能を達成できるか？
• RQ2 指示と応答の両方を入力として与えた場合、小規模モデルは有害応答をどれほど効果的に検出できるか？
• RQ3 長文脈長（例：Longformer）を用いることで、短文脈長モデルに比べ、複雑な有害行動の検出性能が向上するか？
• RQ4 商用およびオープンソースの異なるLLMは、危険な指示に対して、どの程度の拒否率と応答パターンを示すか？
• RQ5 マルチラベル応答アノテーションは、単一ラベル分類に比べて、セーフティ評価の正確性をどの程度向上させるか？

主な発見

• 60000万パラメータ未満の微調整済みBERT類似モデルが、有害応答検出において98％以上の精度と80％以上のマクロF1を達成し、GPT-4と同等の性能を示した。
• LLaMA-2は評価対象モデルの中で最高の拒否率（99.7％）を示した一方、ChatGLM2は最低の拒否率（90.9％）を示した。
• 指示を入力に含めることで、応答のみを入力とする場合に比べ、分類性能が向上した。特に行動分類において顕著であった。
• Longformerは、特に完全な応答文脈を必要とするカテゴリ（例：カテゴリ2および5）において、BERTを上回る性能を示した。
• GPT-4とLongformerベースの評価者との間で、モデルのセーフティパフォーマンス順位がほぼ同一であったため、自動評価手法の妥当性が確認された。
• 本研究では、リスクタイプごとに特徴的な応答パターンが明らかになり、モデルが特定の有害プロンプトに対して予測可能な失敗モードを示すことが判明した。

Figure 2: Three-level taxonomy of LLM risks.