[論文レビュー] Teaching Models to Express Their Uncertainty in Words

Stephanie Lin, Jacob Hilton+1 more|arXiv (Cornell University)|May 28, 2022

Topic Modeling被引用数 54

ひとこと要約

この論文はGPT-3が自分の回答について校正済みの言語化された不確実性を表現することを学べることを示し、新しいCalibratedMathスイートを用いて分布シフト下でのキャリブレーションを評価する。

ABSTRACT

We show that a GPT-3 model can learn to express uncertainty about its own answers in natural language -- without use of model logits. When given a question, the model generates both an answer and a level of confidence (e.g. "90% confidence" or "high confidence"). These levels map to probabilities that are well calibrated. The model also remains moderately calibrated under distribution shift, and is sensitive to uncertainty in its own answers, rather than imitating human examples. To our knowledge, this is the first time a model has been shown to express calibrated uncertainty about its own answers in natural language. For testing calibration, we introduce the CalibratedMath suite of tasks. We compare the calibration of uncertainty expressed in words ("verbalized probability") to uncertainty extracted from model logits. Both kinds of uncertainty are capable of generalizing calibration under distribution shift. We also provide evidence that GPT-3's ability to generalize calibration depends on pre-trained latent representations that correlate with epistemic uncertainty over its answers.

研究の動機と目的

• 言語モデルにおけるキャリブレーションされた不確実性の必要性を動機づけ、幻覚を抑制しユーザー信頼を構築する。
• 自然言語でエピステミック不確実性を表現する方法としてverbalized probabilityを導入する。
• CalibratedMathを作成・使用して、算術タスク全般にわたる分布シフト下でのキャリブレーションをテストする。
• verbalized probabilityをlogitベースのキャリブレーション手法や間接的なlogit法と比較する。

提案手法

• CalibratedMathのAdd-subtractトレーニングサブセットでGPT-3 (175B)をファインチューニングして、回答とともにverbalized probabilitiesを生成する。
• キャリブレーションのための3つの確率源を定義する：回答logit、間接logit、そしてverbalized probability（自然言語）。
• 分布内データと分布外データの評価セットでMean Squared Error (MSE)とMean Absolute Deviation (MAD)を用いてキャリブレーションを評価する。
• verbalized probabilityはサブタスクごとの経験的正確性から導かれるラベルで教師ありファインチューニングを行い、間接logitは真の正確性に基づくラベルで行う。
• finetuned verbalized probabilityとindirect logitをzero-shot回答logitおよび定数ベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 GPT-3モデルは自分の回答について校正済みの不確実性を自然言語で表現できるか（verbalized probability）？
• RQ2 CalibratedMath内の新しいタスクファミリに対して分布シフトの下でキャリブレーションは一般化するか？
• RQ3 verbalized probabilityはキャリブレーション品質と一般化の点でlogitベースのキャリブレーション手法とどう比較されるか？
• RQ4 キャリブレーション一般化を支える機構は、潜在表現なのか単純なヒューリスティックなのか？

主な発見

• Verbalized probabilityは新しい評価セットへ一般化し、分布シフト下でも中程度のキャリブレーションを維持する。
• Multi-answerでは、ファインチューニング後にverbalized probabilityが回答logitおよび間接logitベースラインよりも低いMSEを達成。
• Multiply-divideでは、verbalized probabilityはMADとMSEの点で定数ベースラインと同等以上を達成。
• Indirect logitはMultiply-divideで強いキャリブレーションを示すが、Multi-answerではverbalized probabilityより弱い。
• いくつかの分析は、GPT-3が出力トークン確率だけに依存するのではなく、潜在的な事前学習特徴を用いて不確実性をキャリブレーションしていることを示唆している。