[論文レビュー] Deterministic Neural Networks with Appropriate Inductive Biases Capture Epistemic and Aleatoric Uncertainty

Jishnu Mukhoti, Andreas Kirsch+3 more|arXiv (Cornell University)|Feb 23, 2021

Machine Learning and Algorithms参考文献 25被引用数 45

ひとこと要約

この論文は、適切な帰納的バイアス——特にガウス線形判別分析（GDA）による特徴空間の密度とソフトマックスエントロピーの組み合わせ——を備えた標準的なソフトマックスニューラルネットワークが、エピステミックな不確実性とアレアトリックな不確実性の両方を信頼性高く捉えることができることを示している。この手法は最先端の性能を達成し、CIFAR-10 と SVHN の OoD 検出において約 0.98 の AUROC を達成し、ディープアンサンブルや複雑な単一フォワードパス手法を上回っている。

ABSTRACT

We show that a single softmax neural net with minimal changes can beat the uncertainty predictions of Deep Ensembles and other more complex single-forward-pass uncertainty approaches. Softmax neural nets cannot capture epistemic uncertainty reliably because for OoD points they extrapolate arbitrarily and suffer from feature collapse. This results in arbitrary softmax entropies for OoD points which can have high entropy, low, or anything in between. We study why, and show that with the right inductive biases, softmax neural nets trained with maximum likelihood reliably capture epistemic uncertainty through the feature-space density. This density is obtained using Gaussian Discriminant Analysis, but it cannot disentangle uncertainties. We show that it is necessary to combine this density with the softmax entropy to disentangle aleatoric and epistemic uncertainty -- crucial e.g. for active learning. We examine the quality of epistemic uncertainty on active learning and OoD detection, where we obtain SOTA ~0.98 AUROC on CIFAR-10 vs SVHN.

研究の動機と目的

• 標準的なソフトマックスネットワークが、分布外（OoD）入力においてエピステミックな不確実性を信頼性なく捉える問題に対処すること。
• ディープアンサンブルのような複雑な手法と同等またはそれ以上の不確実性推定が得られるように、最小限のアーキテクチャ的変更を施すことができるかを示すこと。
• 特徴空間の密度とソフトマックスエントロピーを組み合わせることで、エピステミックとアレアトリックな不確実性を効果的に分離すること。
• より単純で決定論的なネットワークを用いて、アクティブラーニングおよび OoD 検出の性能を向上させること。

提案手法

• クラス確率を学習するために、最大尤度推定を用いた標準的なソフトマックスニューラルネットワークを訓練する。
• ガウス線形判別分析（GDA）を用いて特徴空間の密度を推定し、エピステミックな不確実性を捉える。
• GDAに基づく密度とソフトマックスエントロピーを組み合わせることで、エピステミックとアレアトリックな不確実性を分離する。
• 組み合わせた不確実性測度を、アクティブラーニングおよび OoD 検出に応用する。
• OoD ポイントにおける任意の外挿を防ぐための帰納的バイアスを適用する。
• ソフトマックスエントロピーのみでは、分布シフト下でも信頼性の高いエピステミックな不確実性を捉えるのが不十分であるという事実を活用する。

実験結果

リサーチクエスチョン

• RQ1 最小限の変更を加えた単純な決定論的ソフトマックスネットワークが、ディープアンサンブルのような複雑な不確実性手法を上回る不確実性推定を達成できるか？
• RQ2 なぜ標準的なソフトマックスネットワークは、分布外入力においてエピステミックな不確実性を信頼性高く捉えられないのか？
• RQ3 単一フォワードパスネットワークにおいて、エピステミックとアレアトリックな不確実性を効果的に分離する方法は何か？
• RQ4 GDA からの特徴空間の密度が、不確実性のキャリブレーションおよび OoD 検出をどの程度改善できるか？
• RQ5 GDA 密度とソフトマックスエントロピーを組み合わせることで、アクティブラーニングおよび OoD 検出の性能が向上するか？

主な発見

• 提案手法は、CIFAR-10 と SVHN の OoD 検出において、約 0.98 の AUROC を達成し、新たな最先端水準を樹立した。
• この手法は、ディープアンサンブルや他の複雑な単一フォワードパス不確実性アプローチを上回った。
• GDA からの特徴空間の密度により、任意のソフトマックス外挿を防ぎ、信頼性のあるエピステミックな不確実性推定が可能になった。
• GDA 密度とソフトマックスエントロピーを組み合わせることで、エピステミックとアレアトリックな不確実性の分離に成功した。
• より単純で決定論的なアプローチを維持しながら、優れた不確実性評価を達成した。
• この手法は分布シフトに対して頑健であり、標準的なソフトマックスネットワークが OoD 入力で直面する特徴の崩壊を回避した。