[論文レビュー] Quantifying Aleatoric and Epistemic Uncertainty in Machine Learning: Are Conditional Entropy and Mutual Information Appropriate Measures?

Wimmer, Lisa, Sale, Yusuf+3 more|arXiv (Cornell University)|Sep 7, 2022

Adversarial Robustness in Machine Learning被引用数 11

ひとこと要約

この論文は、機械学習におけるAleatoricおよびEpistemic不確実性を定量化するための条件付きエントロピーと相互情報量の使用を批判的に評価し、これらの情報理論的測度が一貫性のない挙動を示し、総不確実性を適切に分解できないことを主張している。理論的分析と実験を通じて、著者らは、特にデータが限られている場合や分布シフトが生じる状況下で、こうした測度が不条理な不確実性の帰属を生じることを示しており、その使用に慎重になるよう警告するとともに、標準確率論を超えた代替の不確実性形式の導入を提唱している。

ABSTRACT

The quantification of aleatoric and epistemic uncertainty in terms of conditional entropy and mutual information, respectively, has recently become quite common in machine learning. While the properties of these measures, which are rooted in information theory, seem appealing at first glance, we identify various incoherencies that call their appropriateness into question. In addition to the measures themselves, we critically discuss the idea of an additive decomposition of total uncertainty into its aleatoric and epistemic constituents. Experiments across different computer vision tasks support our theoretical findings and raise concerns about current practice in uncertainty quantification.

研究の動機と目的

• 機械学習におけるAleatoricおよびEpistemic不確実性の測度としての条件付きエントロピーと相互情報量の適切さを批判的に評価すること。
• 総不確実性をAleatoricおよびEpistemic成分に加法的に分解する理論的および実験的不整合を調査すること。
• さまざまなデータおよびモデル条件下での確率的学習手法（例：ラプラス近似、ディープアンサンブル）が不確実性推定に与える影響を評価すること。
• 特に低データ環境下で、古典的確率的表現がEpistemic不確実性を十分に捉えられていないことの限界を強調すること。
• 現在の不確実性定量化の実践を再評価し、標準確率論を超えた代替形式の探求を提唱すること。

提案手法

• 予測不確実性分解の文脈における情報理論的測度（シャノンエントロピー、条件付きエントロピー、相互情報量）の理論的分析。
• 不確実性分解をTU = AU + EUとして形式化し、AUは条件付きエントロピーで、EUは相互情報量で測定する。
• コンピュータビジョンタスク（例：CIFAR-10、OOD検出）を用いた、ラプラス近似、ディープアンサンブル、ベイジアンニューラルネットワークなど多様なモデルにおける実験的評価。
• モデル容量および訓練データサイズの影響を分離するためのアブレーションスタディ。
• 制御された補間および分布シフト下での不確実性挙動を評価するための合成データ実験。
• さまざまな確率的学習者間での不確実性挙動の比較、特にキャリブレーション性および予測性能に注目する。

実験結果

リサーチクエスチョン

• RQ1 条件付きエントロピーと相互情報量は、機械学習におけるAleatoricおよびEpistemic不確実性を一貫的かつ意味のある測度として提供するか？
• RQ2 総不確実性をAleatoricおよびEpistemic成分に加法的に分解することは、理論的および実験的に正当化されるか？
• RQ3 異なる確率的学習手法（例：ラプラス近似、ディープアンサンブル）は、AleatoricおよびEpistemic成分への不確実性の帰属にどのように影響を与えるか？
• RQ4 Epistemic不確実性が存在する状況下で、有限標本推定がAleatoric不確実性の解釈に与える影響は何か？
• RQ5 完全な無知の状況下でも、古典的確率分布はEpistemic不確実性を適切に表現できるか？

主な発見

• Aleatoric不確実性を条件付きエントロピーで測定する方法は、真のデータ生成過程が完全に把握されていない場合に、主観的なEpistemic不確実性に依存するため、不条理な挙動を示す。
• Epistemic不確実性の測度として用いられる相互情報量は、真の無知の指標としての役割を果たすのではなく、むしろ距離測度として機能し、誤解を招く解釈を生じさせる。
• 総不確実性をAleatoricおよびEpistemic成分に加法的に分解することは理論的に一貫性がなく、有限標本推定およびモデル仮定に依存するため、客観的真値に基づかない。
• 低データ環境下では、あらゆる手法においてEpistemic不確実性が一貫して低く見積もられることが判明し、不確実性推定における一貫した過信のパターンが示された。
• ディープアンサンブルは、特に分布シフト下でラプラス近似よりも高い総不確実性を生じるが、AleatoricおよびEpistemic成分への分解においても不条理な帰属を示す。
• 確率的学習者の設計は、予測精度が同等であっても不確実性推定に顕著な影響を与えることが示され、不確実性の挙動がモデルアーキテクチャおよび学習プロトコルに敏感であることが明らかになった。