[論文レビュー] "Oops, Did I Just Say That?" Testing and Repairing Unethical Suggestions of Large Language Models with Suggest-Critique-Reflect Process

Pingchuan Ma, Zongjie Li+2 more|arXiv (Cornell University)|May 4, 2023

Topic Modeling被引用数 6

ひとこと要約

本論文は、大規模言語モデル（LLMs）における倫理的に不適切な提案をテストおよび修復するための新規フレームワーク、Suggest-Critic-Reflect（SCR）を紹介する。20,000件の文脈に即した道徳的状況を含むテストスイートであるEthicsSuiteを提案するとともに、リアルタイムでLLMの倫理的側面を向上させるオンザフライ（OTF）修復メカニズムを導入し、Llama-13BとChatGPTのそれぞれで81.8%および95.1%の修復成功率を達成した。

ABSTRACT

As the popularity of large language models (LLMs) soars across various applications, ensuring their alignment with human values has become a paramount concern. In particular, given that LLMs have great potential to serve as general-purpose AI assistants in daily life, their subtly unethical suggestions become a serious and real concern. Tackling the challenge of automatically testing and repairing unethical suggestions is thus demanding. This paper introduces the first framework for testing and repairing unethical suggestions made by LLMs. We first propose ETHICSSUITE, a test suite that presents complex, contextualized, and realistic moral scenarios to test LLMs. We then propose a novel suggest-critic-reflect (SCR) process, serving as an automated test oracle to detect unethical suggestions. We recast deciding if LLMs yield unethical suggestions (a hard problem; often requiring human expertise and costly to decide) into a PCR task that can be automatically checked for violation. Moreover, we propose a novel on-the-fly (OTF) repairing scheme that repairs unethical suggestions made by LLMs in real-time. The OTF scheme is applicable to LLMs in a black-box API setting with moderate cost. With ETHICSSUITE, our study on seven popular LLMs (e.g., ChatGPT, GPT-4) uncovers in total 109,824 unethical suggestions. We apply our OTF scheme on two LLMs (Llama-13B and ChatGPT), which generates valid repair to a considerable amount of unethical ones, paving the way for more ethically conscious LLMs.

研究の動機と目的

• LLMに埋め込まれた微妙で文脈依存の倫理的に不適切な提案が、実世界に悪影響を及える可能性があるという懸念を解決すること。
• 高価な人為的アノテートされた倫理基準に依存せずに、自動的かつスケーラブルな方法で不適切な提案を検出する手法を開発すること。
• 微調整を伴わず、ブラックボックスのLLM APIにおいてもリアルタイムで不適切な提案を修復できる仕組みを実現すること。
• 複数のモデルとシナリオをカバーする包括的で多様性に富み、現実的であるベンチマークを提供すること。

提案手法

• 文脈学習を用いて簡潔さと現実性を高めた、約20,000件の複雑で文脈豊かな道徳的状況からなるテストスイートであるEthicsSuiteを構築する。
• Suggest-Critic-Reflect（SCR）プロセスを導入：LLMが提案を生成し、複数のクリティシズムモデルがその倫理的整合性を評価し、是正不能な矛盾を「倫理的に不適切な行動」として特定するリフレクターが是正を行う。
• ChatGLM、Vicuna、ChatGPTなどの複数のクリティシズムモデルを用いることで、相補的な強みを活かし、誤検出を低減し、検出の頑健性を向上させる。
• LLMのAPIがブラックボックスであっても適用可能なオンザフライ（OTF）修復方式を採用し、リアルタイムで不適切な提案を修正する。
• 複数のクリティシズムモデルの出力をコンSENSUSにより統合することで、倫理的判断の信頼性を向上させ、誤り率を低減する。
• Llama-13B や ChatGPT などのLLMにOTF修復を適用し、再訓練を伴わず、有効な倫理的代替案を生成する。

実験結果

リサーチクエスチョン

• RQ1 人為的アノテート基準と比較して、SCRプロセスはLLMにおける微妙で文脈依存の不適切な提案をどの程度効果的に検出できるか？
• RQ2 複数のクリティシズムモデルを用いることで、SCRフレームワークにおける倫理的検出の正確性と頑健性にどのような影響を与えるか？
• RQ3 微調整を伴わず、リアルタイムで不適切な提案を修正できるオンザフライ（OTF）修復機構の有効性はどの程度か？
• RQ4 EthicsSuiteベンチマークは、実世界のLLM利用に必要な複雑で現実的な道徳的ジレンマを、既存のベンチマークと比較してどの程度的確に捉えているか？

主な発見

• EthicsSuiteは、7つの代表的なLLMにおいて合計109,824件の不適切な提案を特定し、平均して81.22%のシナリオで不適切な応答が得られた。
• ChatGPTをクリティシズムモデルとして用いた場合、SCRフレームワークは4.5%の誤差率を達成し、不適切な提案の同定において87%の精度を示した。
• OTF修復方式により、Llama-13Bでは不適切な提案の81.8%、ChatGPTでは95.1%に対して、有効な倫理的代替案が生成された。
• ChatGLM、Vicuna、ChatGPTの複数のクリティシズムモデルを組み合わせた結果、個別のモデルに比べて受容された批判数が46.1%増加し、相乗効果が確認された。
• Delphiなどの最先端の倫理的推論ツールと比較して、SCRプロセスは、感情的弱みを悪用するような微妙な不適切な提案の検出において優れた性能を示した。
• GPT-4、Llama、Vicunaなど多様なLLMアーキテクチャにわたり、本フレームワークは優れた一般化性能を示し、広範な適用可能性を確認した。