[論文レビュー] Quantifying Uncertainty in Answers from any Language Model and Enhancing their Trustworthiness

Jiuhai Chen, Jonas Mueller|arXiv (Cornell University)|Aug 30, 2023

Topic Modeling被引用数 7

ひとこと要約

この論文では、ブラックボックスの大規模言語モデル（LLM）の出力における不確実性を、複数回の応答をサンプリングし、意味的類似性と温度パラメータの変動に基づいた信頼度スコアを計算することで定量化するBSDetectorを紹介する。これにより、信頼できない、あるいは幻覚的な回答を特定でき、再訓練を必要とせず最高信頼度の応答を選択することで、人間が関与する評価および完全自動化されたLLM評価の両設定において、信頼性を著しく向上できる。

ABSTRACT

We introduce BSDetector, a method for detecting bad and speculative answers from a pretrained Large Language Model by estimating a numeric confidence score for any output it generated. Our uncertainty quantification technique works for any LLM accessible only via a black-box API, whose training data remains unknown. By expending a bit of extra computation, users of any LLM API can now get the same response as they would ordinarily, as well as a confidence estimate that cautions when not to trust this response. Experiments on both closed and open-form Question-Answer benchmarks reveal that BSDetector more accurately identifies incorrect LLM responses than alternative uncertainty estimation procedures (for both GPT-3 and ChatGPT). By sampling multiple responses from the LLM and considering the one with the highest confidence score, we can additionally obtain more accurate responses from the same LLM, without any extra training steps. In applications involving automated evaluation with LLMs, accounting for our confidence scores leads to more reliable evaluation in both human-in-the-loop and fully-automated settings (across both GPT 3.5 and 4).

研究の動機と目的

• 幻覚的または過信された応答による高リスク応用におけるLLMの信頼性の欠如に対処すること。
• トレーニングデータやアーキテクチャにアクセスできないが、ブラックボックスAPIでのみ利用可能な任意のLLMに適用可能な不確実性定量化手法を開発すること。
• 低品質な応答を特定する数値的信頼度スコアを提供することで、LLM出力の信頼性を向上させること。
• 追加の訓練なしに、複数回のLLM生成から最高信頼度の応答を選択することで、回答の正確性を向上させること。
• 信頼度ベースのフィルタリングを用いて、人間が関与する評価および完全自動化されたLLM出力評価の両方をより信頼性高くすること。

提案手法

• BSDetectorは、異なる温度設定とプロンプトのバリエーションを用いて、同じLLMから複数回の応答をサンプリングする。
• 生成された応答間の意味的類似性を測定することで、文書埋め込みモデルを用いて信頼度スコアを計算する。
• 信頼度スコアは、複数回のサンプリングにおける応答の一貫性に基づき算出され、低いスコアは不確実性が高く、幻覚の可能性を示す。
• この手法は、内部的（応答の一貫性）および外部的（意味的類似性）の評価を組み合わせて、信頼性を推定する。
• モデルの微調整なしに、複数回の生成から最高信頼度の応答を選択することで、正確性を向上させる。
• 低信頼度の応答を事前にフィルタリングすることで、人間が関与する評価および完全自動化された評価の両方を可能にする。

(a) Pipeline of BSDetector , which can be applied to any LLM API. ( $T=1.0$ means temperature sampling with parameter 1.0, Sim ( $\cdot$ , $\cdot$ ) means the semantic similarities between two sentences.)

実験結果

リサーチクエスチョン

• RQ1 トレーニングデータやアーキテクチャにアクセスできない状況でも、ブラックボックスLLMの不確実性を信頼性を持って定量化できるか？
• RQ2 複数回のLLM生成から最高信頼度の応答を選択することで、再訓練なしに回答の正確性が向上するか？
• RQ3 BSDetectorの信頼度スコアは、人間が関与する評価および完全自動化された設定の両方において、LLMベースの評価の信頼性を向上させられるか？
• RQ4 信頼度ベースのフィルタリングは、ランダムなフィルタリングと比較して、LLM評価スコアの分散を低減し、正確性を向上させるか？
• RQ5 BSDetectorは、ベースラインの不確実性推定手法と比較して、質問応答ベンチマークにおける誤差率をどの程度低減できるか？

主な発見

• BSDetectorは、GPT-3やChatGPTを含む閉域および開域QAベンチマークにおいて、誤ったLLM応答を特定する点で、他の不確実性推定手法を上回っている。
• 複数回のLLM生成から最高信頼度の応答を選択することで、追加の訓練やモデルの微調整なしに回答の正確性が向上する。
• 人間が関与する評価では、人間が評価した応答から信頼度ベースで選択することで、ランダム選択と比較して誤差率が低下し、TriviaQAおよびSummarize-from-feedbackの両データセットで信頼性が向上した。
• 完全自動化された評価では、信頼度が最も低い20％の応答を破棄することで、GPT-4による平均評価スコアがより正確になり、MSEの改善が得られ、TriviaQAでは正確度が1.0に達した。
• ランダムに20％の応答を破棄した場合、正確性は向上せず分散が増加したため、信頼度ベースのフィルタリングが有意義なパフォーマンス向上をもたらすことが確認された。
• この手法は、GPT-3.5とGPT-4を含むさまざまなLLMおよび事実ベースQAや要約処理を含むさまざまな応用タイプに有効であり、広範な適用可能性を示している。

(b) Two prompts from a Trivia Q&A dataset (Joshi et al., 2017 ) and the responses from ChatGPT, along with the associated confidence scores from BSDetector .