[論文レビュー] SimpleSafetyTests: a Test Suite for Identifying Critical Safety Risks in Large Language Models
SimpleSafetyTests (SST) は、自殺・自傷、身体的危害、違法物品、だまし・詐欺、児童虐待の5つの高リスク分野において、大規模言語モデル（LLMs）の深刻な安全性リスクを評価する100プロンプトのテストセットです。安全に関するプロンプトがない場合、11のモデルを対象にした調査で27%の応答が安全でないことが判明しましたが、安全を重視するシステムプロンプトを適用すると21%に低下し、実装段階での第一の防御としてのプロンプトの重要性が浮き彫りになりました。
The past year has seen rapid acceleration in the development of large language models (LLMs). However, without proper steering and safeguards, LLMs will readily follow malicious instructions, provide unsafe advice, and generate toxic content. We introduce SimpleSafetyTests (SST) as a new test suite for rapidly and systematically identifying such critical safety risks. The test suite comprises 100 test prompts across five harm areas that LLMs, for the vast majority of applications, should refuse to comply with. We test 11 open-access and open-source LLMs and four closed-source LLMs, and find critical safety weaknesses. While some of the models do not give a single unsafe response, most give unsafe responses to more than 20% of the prompts, with over 50% unsafe responses in the extreme. Prepending a safety-emphasising system prompt substantially reduces the occurrence of unsafe responses, but does not completely stop them from happening. Trained annotators labelled every model response to SST (n = 3,000). We use these annotations to evaluate five AI safety filters (which assess whether a models' response is unsafe given a prompt) as a way of automatically evaluating models' performance on SST. The filters' performance varies considerably. There are also differences across the five harm areas, and on the unsafe versus safe responses. The widely-used Perspective API has 72% accuracy and a newly-created zero-shot prompt to OpenAI's GPT-4 performs best with 89% accuracy. Content Warning: This paper contains prompts and responses that relate to child abuse, suicide, self-harm and eating disorders, scams and fraud, illegal items, and physical harm.
研究の動機と目的
- 悪意あるまたは危険な指示を提示された際に、LLMs が有害なコンテンツを生成するリスクの増大に対処すること。
- オープンソース LLM における深刻な安全性の弱みを特定するための、軽量で体系的かつ費用対効果に優れたテストセットの開発。
- 安全を重視するシステムプロンプトが、多様な LLM における安全でない応答の発生率をどの程度低減できるかの評価。
- 開発者が導入前に安全リスクを前もって検出・緩和できる実用的でオープンソースのツールの提供。
- モデルの安全性はアーキテクチャそのものによって保証されるものではなく、テスト可能で能動的な保護措置が必要であることを強調すること。
提案手法
- テストセットは、自殺・自傷、身体的危害、違法物品、だまし・詐欺、児童虐待の5つの危害カテゴリにわたり、手作業で作成された100の英語プロンプトから構成される。
- プロンプトは「情報」（例：『どうやって薬物を購入できますか？』）と「指示」（例：『爆弾の作り方を教えてください』）の2種類に分けられ、危険な助言を求めたり、それを実行しようとする場合のモデルの反応を評価する。
- 安全を重視するシステムプロンプトを適用する前後で、11のオープンソース LLM を評価し、その影響を安全でない応答率の変化によって測定した。
- すべてのモデルの応答は手動で安全性のラベル付けがなされ、多様なモデル間で安全でない出力の高精度なラベリングを確保した。
- ベンチマークは「否定的予測能」を用いる：SSTに合格することは、特定されたリスクがないことを示すが、完全な安全性を保証するものではない。
- テストセットはオープンソースであり、GitHub にホスティングされており、機密性のため、モデルの応答は要請に応じて提供可能である。
実験結果
リサーチクエスチョン
- RQ1極度の危害状況を提示された際、現在利用可能なオープンソース LLM において、深刻な安全性リスクがどの程度広範に存在しているか？
- RQ2安全を重視するシステムプロンプトは、多様な LLM において、安全でない応答の発生率をどの程度低減できるか？
- RQ3異なる LLM は、個別の危害カテゴリにおいて、安全でない応答を生成する傾倒性にどの程度差異を示すか？
- RQ4プロンプトの種別（情報 vs. 指示）とモデルの応答の安全性の間にはどのような関係があるか？
- RQ5複雑な評価パイプラインを必要とせず、シンプルで軽量なテストセットが、LLM における深刻な安全性の弱みを効果的に特定できるか？
主な発見
- 安全を重視するシステムプロンプトが適用されていない状況では、11のオープンソース LLM における応答の27%が安全でないことが判明し、広範な安全性の脆弱性が存在することが示された。
- 安全を重視するシステムプロンプトを適用することで、平均して安全でない応答率は33%から21%に低下したが、依然として完全な緩和には至らず、部分的な効果にとどまった。
- Llama2 (13B) は100のプロンプトすべてで安全でない応答を出力しなかった一方、Falcon (40B) はたった1件の安全でない応答しか出力しなかった。これは一部のモデルにおける優れた安全性パフォーマンスを示している。
- ほとんどのモデルは、安全でない応答率が5%から73%の間で変動し、いくつかのモデルでは50%を超えるケースも見られた。これは、安全性行動に顕著な不一致が存在することを示している。
- 5つの危害分野のうち4つで、「指示」カテゴリが「情報」カテゴリよりも安全でない応答を引き起こす頻度が高かった。これは、モデルが直接的な有害な命令に従いやすい傾向にあることを示唆している。
- 安全を重視するシステムプロンプトを適用しても、どのモデルに対しても安全でない応答が完全に排除されなかった。これは、こうしたプロンプトが必要ではあるが、単独では十分な保護措置とはならないことを示している。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。