[論文レビュー] Llamas Know What GPTs Don't Show: Surrogate Models for Confidence Estimation

Vaishnavi Shrivastava, Percy Liang+1 more|arXiv (Cornell University)|Nov 15, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、内部確率を公開しない最新鋭のブラックボックスLLM（例：GPT-4やClaude-v1.3）の信頼性を推定するためのサーロゲートモデル手法を提案する。同じ入力に対して弱いオープンソースモデル（例：Llama 2）が提供する信頼スコアを用いることで、12の質問応答データセットで平均AUC 84.6％を達成。これは言語的信頼スコア提示法や同時期の手法を上回る結果である。

ABSTRACT

To maintain user trust, large language models (LLMs) should signal low confidence on examples where they are incorrect, instead of misleading the user. The standard approach of estimating confidence is to use the softmax probabilities of these models, but as of November 2023, state-of-the-art LLMs such as GPT-4 and Claude-v1.3 do not provide access to these probabilities. We first study eliciting confidence linguistically -- asking an LLM for its confidence in its answer -- which performs reasonably (80.5% AUC on GPT-4 averaged across 12 question-answering datasets -- 7% above a random baseline) but leaves room for improvement. We then explore using a surrogate confidence model -- using a model where we do have probabilities to evaluate the original model's confidence in a given question. Surprisingly, even though these probabilities come from a different and often weaker model, this method leads to higher AUC than linguistic confidences on 9 out of 12 datasets. Our best method composing linguistic confidences and surrogate model probabilities gives state-of-the-art confidence estimates on all 12 datasets (84.6% average AUC on GPT-4).

研究の動機と目的

• 内部ソフトマックス確率を公開しない最新鋭のLLM（例：GPT-4やClaude-v1.3）に対して、信頼性スコアを信頼できる方法で推定する課題に対処すること。
• 粗い粒度で繰り返しの多い出力を示す、モデル自身が自らの信頼度を報告する言語的信頼スコア提示法の限界を克服すること。
• より小さい、オープンソースの代替モデルから得られる確率値を活用することで、ブラックボックスLLMの信頼性推定を実用的かつ低コストで行う手法を開発すること。
• 代替モデルがターゲットモデルと異なったり弱くても、その確率値が信頼性推定に効果的に転送できることを示すこと。
• 言語的信頼スコアと代替モデルの確率値を組み合わせることで、多様なベンチマークにおいて選択的分類の分野で最先端の性能を達成すること。

提案手法

• ターゲットLLM（例：GPT-4）に対して、さまざまなプロンプトフォーマットを用いて、自身の回答に対する信頼度を評価するように促すことで、言語的信頼スコアを獲得する。
• 内部ソフトマックス確率にアクセス可能な代替モデル（例：Llama 2、text-davinci-003）を用い、同じ入力に対して信頼スコアを生成する。
• ターゲットモデルの言語的信頼スコアと、代替モデルの確率に基づく信頼スコアを組み合わせて、信頼性推定値を構成する。
• 言語的信頼スコアと代替モデルの信頼スコアを重み付きで組み合わせることで、正解予測と誤り予測の分離を向上させる。
• MMLU、TruthfulQA、MedQAなどを含む12の多様な質問応答データセットで、選択的分類のAUCを主評価指標として用いる。
• チェーン・オブ・トークンやFew-shotフォーマットを含む、複数のモデル（GPT-4、Claude-v1.3、GPT-3.5、Llama 2、text-davinci-003）とプロンプト変種に対して、妥当性を検証する。

Figure 1: Our goal is to provide good confidence estimates for state-of-the-art LLMs like GPT-4 and Claude-v1.3 which currently do not give access to their internal probabilities. One natural approach (GPT-4 Linguistic) is to prompt the model asking for its confidence. Interestingly, we find that ta

実験結果

リサーチクエスチョン

• RQ1 内部確率が入手不可な状況下でも、言語的信頼スコア提示法がモデルの不確実性を信頼性を持って推定できるか？
• RQ2 より弱くオープンソースの代替モデルが生成する信頼スコアは、GPT-4のような強力なブラックボックスLLMの信頼性推定をどの程度向上できるか？
• RQ3 代替モデルが著しく小さくまたは正確性に劣っていても、なぜモデル間で信頼スコアが転送可能なのか？
• RQ4 言語的信頼スコアと代替モデルの確率値は、信頼性推定の向上においてどのように相補的に機能するか？
• RQ5 より複雑で高コストな手法（例：自己一貫性）に比べて、単純な言語的信頼スコアと代替モデル確率の混合は、優れた性能を発揮できるか？

主な発見

• GPT-4に対して言語的信頼スコア提示法を適用した場合、12のデータセットで平均AUC 80.5％を達成。ランダムベースラインより7％高いが、確率値が利用可能な場合に比べて顕著に低い。
• Llama 2の確率値を用いた代替信頼スコア推定により、GPT-4の平均AUCは82.1％まで向上し、言語的信頼スコア単体よりも優れた性能を示した。
• 言語的信頼スコアと代替モデルの確率値を組み合わせることで、GPT-4の平均AUCは83.4％まで上昇し、両者の信号が相乗的に効果を発揮することが示された。
• 最良の手法である言語的信頼スコアと代替モデル確率の混合により、GPT-4の12の全データセットで平均AUC 84.6％という最先端の性能を達成した。
• Llama 2-13B や text-davinci-003 といったより弱い代替モデルですら、GPT-4およびClaude-v1.3において言語的信頼スコアを上回るか同等のAUCを達成しており、高い転送性が示された。
• 自己一貫性を用いる同時期の研究（Xiong et al., 2023）に比べ、本手法は1入力あたり5回のGPT-4呼び出しを必要とせず、計算コストが低く、性能でも上回った。

Figure 2: Linguistic Confidence Prompt Instruction for the best linguistic confidence prompt (see exact prompt in Appendix A.4 ).