[論文レビュー] A Deeper Look into Aleatoric and Epistemic Uncertainty Disentanglement

Matías Valdenegro-Toro, Daniel Saromo|arXiv (Cornell University)|Apr 20, 2022

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

この論文は、MC-Dropoutにとどまらず、アンサンブル、Flipout、ドロップアウトなどの他の不確実性評価手法へと、確率的不確実性とエピステミック不確実性の分離を一般化し、特にFlipoutでは予期しない相互作用が生じ、エピステミック不確実性がほぼゼロになることが明らかになった。β-NLL損失を用いたアンサンブルが、特に分布外設定において、最高の分離品質と信頼性を達成した。

ABSTRACT

Neural networks are ubiquitous in many tasks, but trusting their predictions is an open issue. Uncertainty quantification is required for many applications, and disentangled aleatoric and epistemic uncertainties are best. In this paper, we generalize methods to produce disentangled uncertainties to work with different uncertainty quantification methods, and evaluate their capability to produce disentangled uncertainties. Our results show that: there is an interaction between learning aleatoric and epistemic uncertainty, which is unexpected and violates assumptions on aleatoric uncertainty, some methods like Flipout produce zero epistemic uncertainty, aleatoric uncertainty is unreliable in the out-of-distribution setting, and Ensembles provide overall the best disentangling quality. We also explore the error produced by the number of samples hyper-parameter in the sampling softmax function, recommending N > 100 samples. We expect that our formulation and results help practitioners and researchers choose uncertainty methods and expand the use of disentangled uncertainties, as well as motivate additional research into this topic.

研究の動機と目的

• MC-Dropoutを超えて、他の不確実性評価手法へと、確率的不確実性とエピステミック不確実性の分離を一般化すること。
• 異なる不確実性推定手法が、分離された不確実性分解の品質に与える影響を評価すること。
• 深層学習モデルにおける確率的不確実性とエピステミック不確実性の予期しない相互作用を調査すること。
• 分布外設定における確率的不確実性推定の信頼性を評価すること。
• 近似誤差を低減するためのソフトマックスサンプリング関数の最適なサンプリングハイパーパrameterを提案すること。

提案手法

• KendallとGal（2017）の分離フレームワークを、アンサンブル、Flipout、ドロップアウト、ドロップコネクトを含む複数の不確実性評価手法へと拡張した。
• 特に回帰タスクにおいて、確率的不確実性とエピステミック不確実性推定の両方を改善するために、β-NLL損失を適用した。
• 不確実性推定と近似誤差の評価のために、ソフトマックス関数におけるサンプル数（N）を変化させたモンテカルロサンプリングを用いた。
• 訓練データセットからのサンプリングにより、同じ分布下での不確実性推定を実現するため、経験的リスク最小化（ERM）を採用した。
• トロイ回帰および実世界の分類（FER+）と回帰タスクにおける可視化を通じて、分離品質を評価した。
• 精度、交差エントロピー損失、予測分布のエントロピーといった指標を用いて、手法間での不確実性推定を比較した。

実験結果

リサーチクエスチョン

• RQ1 不確実性評価手法の選択が、確率的不確実性とエピステミック不確実性の分離品質にどのように影響するか？
• RQ2 モデル推論中に確率的不確実性とエピステミック不確実性がどの程度相互作用するか、理論的仮定に反する事象が生じるか？
• RQ3 異なる手法において、分布外設定における確率的不確実性推定の信頼性はどの程度か？
• RQ4 サンプリングソフトマックス関数におけるサンプル数（N）が、不確実性近似と分類精度に与える影響は？
• RQ5 β-NLL損失は、確率的不確実性とエピステミック不確実性推定の両方を改善できるか？また、分離品質の向上に寄与するか？

主な発見

• Flipoutでは、分布外ケースでもエピステミック不確実性がほぼゼロになるため、その分離挙動に根本的な欠陥があると考えられる。
• 分布外設定では確率的不確実性推定が信頼できず、モデルがしばしば一定の分散を出力する。
• β-NLL損失を用いて訓練されたアンサンブルが、回帰および分類タスクの両方で最高の分離品質を達成した。
• サンプリングソフトマックス関数におけるサンプル数（N）は100を超える必要があり、近似誤差を最小限に抑え、誤分類を防ぐことができる。
• エピステミック不確実性は不確実性評価手法に敏感である一方、確率的不確実性も予期しないほど手法の選択に影響を受けることが判明し、理論的仮定に反する。
• β-NLL損失は、確率的不確実性に限定されず、エピステミック不確実性推定の両方を改善し、その有用性を拡張した。