[論文レビュー] SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal

Tinghao Xie, Xiangyu Qi+14 more|arXiv (Cornell University)|Jun 20, 2024

Software Reliability and Analysis Research被引用数 4

ひとこと要約

SORRY-Bench は、45のバランスの取れた人間が選別した危険なトピックをカバーする、包括的で細分化された大規模言語モデルの安全性拒否行動を評価するベンチマークです。従来のベンチマークの限界を克服するため、言語的バリエーションを統合し、GPT-4スケールのモデルに頼らずに効率的な評価が可能な微調整済み7B LLMを用いることで、モデルとリスクカテゴリごとの拒否行動の違いを明らかにしました。

ABSTRACT

Evaluating aligned large language models' (LLMs) ability to recognize and reject unsafe user requests is crucial for safe, policy-compliant deployments. Existing evaluation efforts, however, face three limitations that we address with SORRY-Bench, our proposed benchmark. First, existing methods often use coarse-grained taxonomies of unsafe topics, and are over-representing some fine-grained topics. For example, among the ten existing datasets that we evaluated, tests for refusals of self-harm instructions are over 3x less represented than tests for fraudulent activities. SORRY-Bench improves on this by using a fine-grained taxonomy of 44 potentially unsafe topics, and 440 class-balanced unsafe instructions, compiled through human-in-the-loop methods. Second, linguistic characteristics and formatting of prompts are often overlooked, like different languages, dialects, and more -- which are only implicitly considered in many evaluations. We supplement SORRY-Bench with 20 diverse linguistic augmentations to systematically examine these effects. Third, existing evaluations rely on large LLMs (e.g., GPT-4) for evaluation, which can be computationally expensive. We investigate design choices for creating a fast, accurate automated safety evaluator. By collecting 7K+ human annotations and conducting a meta-evaluation of diverse LLM-as-a-judge designs, we show that fine-tuned 7B LLMs can achieve accuracy comparable to GPT-4 scale LLMs, with lower computational cost. Putting these together, we evaluate over 50 proprietary and open-weight LLMs on SORRY-Bench, analyzing their distinctive safety refusal behaviors. We hope our effort provides a building block for systematic evaluations of LLMs' safety refusal capabilities, in a balanced, granular, and efficient manner. Benchmark demo, data, code, and models are available through https://sorry-bench.github.io.

研究の動機と目的

• 既存のLLM安全性拒否行動の評価ベンチマークにおける不均衡さと粗い粒度を是正すること。
• 言語的バリエーション（言語、方言、プロンプト形式など）がモデルの拒否パフォーマンスに与える影響を体系的に評価すること。
• GPT-4のような大規模モデルに依存せず、微調整済み7B LLMを用いて計算コストを抑えた正確な自動評価者を開発すること。
• モデル間での包括的かつ比較可能な安全性評価を可能にするために、45の危険なトピックの統一的で細分化された分類法を提供すること。
• リスクカテゴリごとの相関関係と、モデル固有の拒否行動を明らかにすること。

提案手法

• 人間が関与するプロセスを通じて、既存の不均衡な分類法を統合・拡張し、細分化された45クラスの安全性分類法を構築した。
• 人間によるアノテーションと新規データを用いて、45のトピックそれぞれに10件ずつ、合計450件のバランスの取れた危険な指示を収集した。
• 命令形、疑問形、多言語プロンプトを含む、多様なフォーマットをテストするための20種類の言語的拡張を生成した。
• LLM-as-a-judgeの複数の構成を設計・評価し、微調整済み7BモデルがGPT-4レベルの正確性を達成しながら、計算コストを抑えることができることを同定した。
• 7,000件を超える人間によるアノテーションを用いたメタ評価を通じて、自動評価戦略の妥当性を検証し、信頼性を確保した。
• ピアソン相関を用いてカテゴリ間のパフォーマンス関係を分析し、リスクカテゴリごとに明確な拒否行動の違いを特定した。

実験結果

リサーチクエスチョン

• RQ1 異なるLLMが、細分化された45の危険なトピックのバランスの取れたセットにおいてどのように性能を発揮するか、そしてその拒否行動にどのようなパターンが現れるか？
• RQ2 質問形、方言、多言語プロンプトなどの言語的バリエーションが、モデルの拒否パフォーマンスにどの程度影響を与えるか？
• RQ3 微調整済み7B LLMは、計算コストを削減しながらも、GPT-4と同等の安全性評価の正確性を達成できるか？
• RQ4 システムプロンプト、プロンプトテンプレート、応答のプレフィルなど、構成要因がモデルの拒否率にどのように影響するか？
• RQ5 どの安全性カテゴリが拒否パフォーマンスにおいて低い相関関係を示し、モデル固有の脆弱性や行動の違いを示しているか？

主な発見

• ベンチマークの結果、従来のデータセットは自傷行為（詐欺よりほぼ3倍少ない）のような重要なトピックを著しく欠落していることが判明し、評価における大きな空白が明らかになった。
• モデルはカテゴリごとに顕著に異なる拒否行動を示し、特に『医療アドバイス』『法的助言』『知的財産権侵害』では、相関係数が0.75未満（R < 0.75）であり、リスクプロファイルが著しく異なることが示された。
• モデルの応答に「はい、以下に」とプレフィルするだけで、Llamaモデル全体で不適切な指示の遂行率が最大53%上昇し、強力なジャイルブレーキ効果が確認された。
• 誤ったプロンプトテンプレートは、Llama-2およびGemmaモデルで拒否率を最大30%まで上昇させ、フォーマットに極めて敏感であることが示された。
• 微調整済み7B LLMは、GPT-4と同等の安全性評価の正確性を達成しながら、計算コストを削減し、信頼性を維持した。
• 安全性を強調するシステムプロンプトは、拒否率を1～16%まで低下させた。これは、意図は良いが、安全な整合性を弱める要因になり得ることを示唆している。