[論文レビュー] Pitfalls of Epistemic Uncertainty Quantification through Loss Minimisation

Viktor Bengs, Eyke Hüllermeier+1 more|arXiv (Cornell University)|Mar 11, 2022

Machine Learning and Algorithms被引用数 6

ひとこと要約

この論文は、エピステミック・アンチチテイティの定量的評価を目的とした2次学習者（確率分布の分布を予測するモデル）のトレーニングに損失最小化を用いることの問題を批判的に検討している。標準的な損失関数が、データサイズにかかわらず、しばしば過信または過小信の結果をもたらすため、信頼性の高い機械学習モデルにおける不確実性の定量的評価を損なうことが示されている。

ABSTRACT

Uncertainty quantification has received increasing attention in machine learning in the recent past. In particular, a distinction between aleatoric and epistemic uncertainty has been found useful in this regard. The latter refers to the learner's (lack of) knowledge and appears to be especially difficult to measure and quantify. In this paper, we analyse a recent proposal based on the idea of a second-order learner, which yields predictions in the form of distributions over probability distributions. While standard (first-order) learners can be trained to predict accurate probabilities, namely by minimising suitable loss functions on sample data, we show that loss minimisation does not work for second-order predictors: The loss functions proposed for inducing such predictors do not incentivise the learner to represent its epistemic uncertainty in a faithful way.

研究の動機と目的

• 経験的損失最小化が、エピステミック不確実性を表現する2次予測子を信頼性を持ってトレーニングできるかを調査すること。
• エピステミック不確実性の定量的評価の文脈において、既存の損失関数が2次学習に与えるインcentiveを分析すること。
• データ量が増加しても、現在のアプローチが忠実なエピステミック不確実性表現に至らないことを実証すること。
• 2次モデルの損失ベースのトレーニングに依存する広く用いられている不確実性定量手法の妥当性に疑問を呈すること。
• 不確実性の真の基準値が存在しないことによる、エピステミック不確実性の定量的評価の根本的な難しさを強調すること。

提案手法

• 著者たちは、エピステミック不確実性を表現するために、確率分布の分布（2次）を予測するモデルを用いた2次学習フレームワークを分析している。
• こうした2次予測子をトレーニングするための文献に提案されたさまざまな損失関数の期待損失を検討している。
• 形式的分析により、これらの損失関数を最小化しても真のエピステミック不確実性と一致しないことが示され、誤った信頼度の推定が生じることを明らかにした。
• 変動する標本サイズと正則化パラメータ（λ）を用いた合成データ上のシミュレーションを実施し、2次モデルの挙動を評価した。
• レベル-2分布の微分エントロピーを用いて不確実性を定量化し、エントロピーとモデルの信頼度推定値（θ̂）の両方の結果を報告した。
• 二値分類にとどまらず、多クラス設定を用いて、結果の一般化可能性を検証した。

実験結果

リサーチクエスチョン

• RQ1 既存の2次学習用損失関数は、モデルがエピステミック不確実性を忠実に表現するようにインcentivizeするか？
• RQ2 損失最小化の下で、トレーニング標本サイズが増加するとエピステミック不確実性は減少するか？
• RQ3 正則化パラメータλは、モデルの信頼度と不確実性表現にどのように影響するか？
• RQ4 損失ベースのトレーニングを用いた場合、レベル-2の不確実性表現は、元のデータ生成プロセスに依存しないか？
• RQ5 不確実性の真の基準値が存在しない状況下で、損失最小化は信頼性のあるキャリブレーション済みのエピステミック不確実性推定を一貫して得られるか？

主な発見

• λが小さい場合、2次モデル（ELM）はエントロピーがゼロのデルタ関数に収束し、不適切な過信を示している。
• λが大きい場合、標本サイズが大きくてもモデルはデルタ関数から遠ざかり続け、持続的な過信または過小信の状態が続く。
• レベル-2の不確実性は、λ値や標本サイズにかかわらずほぼ一定であり、レベル-1の不確実性の顕著な変動とは対照的であるため、λが情報的ではなく任意の要因として作用していることが示された。
• 標本サイズが増加しても、モデルの信頼度推定値（θ̂）は真値（0.5）に収束せず、正しいエピステミック不確実性を学習できていないことが示された。
• すべてのλおよびNの値において、報告されたレベル-2の不確実性はほぼ同一であり、損失関数が真の不確実性を意味的に反映していないことが明らかになった。
• 結果は、損失最小化が忠実なエピステミック不確実性表現に適切なインセンティブを提供しないことを確認しており、こうした手法の信頼性を損なうものである。