[論文レビュー] Uncertainty Estimation and Quantification for LLMs: A Simple Supervised Approach

L.Q. Liu, Yu Pan+2 more|arXiv (Cornell University)|Apr 24, 2024

Scientific Measurement and Uncertainty Evaluation被引用数 6

ひとこと要約

本論文は、LLMs の不確実性推定を監視付きタスクとして定式化し、隠れた活性化と確率関連の特徴を活用することで、black-box、grey-box、white-box いずれの領域でも不確実性スコアリングを改善できるようにする。NLPタスクを横断して、分布外設定への転移性を示している。

ABSTRACT

In this paper, we study the problem of uncertainty estimation and calibration for LLMs. We begin by formulating the uncertainty estimation problem, a relevant yet underexplored area in existing literature. We then propose a supervised approach that leverages labeled datasets to estimate the uncertainty in LLMs' responses. Based on the formulation, we illustrate the difference between the uncertainty estimation for LLMs and that for standard ML models and explain why the hidden neurons of the LLMs may contain uncertainty information. Our designed approach demonstrates the benefits of utilizing hidden activations to enhance uncertainty estimation across various tasks and shows robust transferability in out-of-distribution settings. We distinguish the uncertainty estimation task from the uncertainty calibration task and show that better uncertainty estimation leads to better calibration performance. Furthermore, our method is easy to implement and adaptable to different levels of model accessibility including black box, grey box, and white box.

研究の動機と目的

• LLMs の不確実性推定を定式化し、標準的な ML の不確実性キャリブレーションと区別する。
• 隠れた活性化と確率ベースの特徴を用いて LLM の応答品質を予測する、単純な監視付き手法を提案する。
• 隠れ層情報が NLP タスクと設定全体で不確実性推定を改善することを示す。
• black-box、grey-box、white-box の領域を横断する本手法の転用性と実用性を示す。

提案手法

• プロンプトと応答を不確実性スコアに写像する不確実性関数 g を定義する。
• white-box（隠れ層活性化）と grey-box（エントロピー/確率）源から特徴量を構築する。
• 応答品質 z をラベルとするデータを用いて、不確実性スコアを予測する監視モデルを訓練する。
• モデル内部情報へのアクセス量に応じて、white-box、grey-box、black-box の3つの regime を提示する。
• ブラック-box 設定で特徴抽出のために他の LLMs を活用できる、アルゴリズム的な事後不確実性推定手順を提供する。

実験結果

リサーチクエスチョン

• RQ1 LLMs の不確実性推定をいかに監視学習タスクとして定義できるか？
• RQ2 LLMs からの hidden activations は応答不確実性を予測するのに有用な情報を含むか？
• RQ3 提案された監視型アプローチは black-box、grey-box、white-box の各シcenario およびタスク間で一般化できるか？
• RQ4 改善された不確実性推定とキャリブレーション性能の関係はどうなるか？

主な発見

• hidden activations を用いると、質問応答、選択問題、機械翻訳タスクを跨いで不確実性推定が改善される。
• 本手法は分布内データと分布外データの両方で有効である。
• white-box および grey-box レジームは、内部情報とラベル付きデータの活用という点で black-box より優れている。
• より良い不確実性推定モデルは、より良いキャリブレーション性能をもたらす傾向がある。
• 本手法は実装が実用的で、モデルの透明性レベルの異なる状況にも適応可能である。）