[論文レビュー] Quantifying Aleatoric and Epistemic Uncertainty Using Density Estimation in Latent Space.

Janis Postels, Hermann Blum+4 more|arXiv (Cornell University)|Dec 5, 2020

Adversarial Robustness in Machine Learning参考文献 58被引用数 14

ひとこと要約

本論文では、潜在空間における密度推定を用いて潜在表現の分布を分析することにより、ニューラルネットワークにおけるAleatoric不確実性とEpistemic不確実性の両方を定量化する手法を提案する。エピステム的不確実性は潜在活性化の負の対数尤度と相関しており、Aleatoric不確実性はこれらの表現に条件づけられた予測分布のエントロピーによって捉えられることを示し、分類および回帰モデルにおける両形式の不確実性の妥当性を検証する。

ABSTRACT

The distribution of a neural network's latent representations has been successfully used to detect Out-of-Distribution (OOD) data. Since OOD detection denotes a popular benchmark for epistemic uncertainty estimates, this raises the question of a deeper correlation. This work investigates whether the distribution of latent representations indeed contains information about the uncertainty associated with the predictions of a neural network. Prior work identifies epistemic uncertainty with the surprise, thus the negative log-likelihood, of observing a particular latent representation, which we verify empirically. Moreover, we demonstrate that the output-conditional distribution of hidden representations allows quantifying aleatoric uncertainty via the entropy of the predictive distribution. We analyze epistemic and aleatoric uncertainty inferred from the representations of different layers and conclude with the exciting finding that the hidden repesentations of a deterministic neural network indeed contain information about its uncertainty. We verify our findings on both classification and regression models.

研究の動機と目的

• ニューラルネットワークにおける潜在表現の分布が予測不確実性に関する情報を保持しているかどうかを調査すること。
• 特に驚き（負の対数尤度）の観点から、潜在空間の密度とEpistemic不確実性の関係を調査すること。
• 隠れ表現の出力条件付き分布のエントロピーを用いてAleatoric不確実性を定量化すること。
• 異なるネットワーク層およびモデルタイプ（分類および回帰）における不確実性定量化の性能を評価すること。
• 決定論的ニューラルネットワークがその潜在表現に不確実性情報が内蔵されていることを実証的に検証すること。

提案手法

• ニューラルネットワークの潜在表現に対して密度推定を適用し、その確率分布をモデル化する。
• Epistemic不確実性は、学習済み密度モデル下での潜在表現の負の対数尤度として推定する。
• Aleatoric不確実性は、潜在表現に条件づけられた予測分布のエントロピーを計算することで定量化する。
• 不確実性の伝搬をアーキテクチャ全体にわたって分析するために、ネットワークの複数の層にこの手法を適用する。
• 一般化性を評価するため、分類および回帰の両タスクにこのアプローチを適用する。
• 潜在分布の驚き（surprise）と不確実性の関連性を検証するため、標準的なOOD検出ベンチマークを用いて実証的検証を実施する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークにおける潜在表現の分布にEpistemic不確実性に関する情報が含まれているか？
• RQ2 潜在活性化の負の対数尤度を用いてEpistemic不確実性を効果的に定量化できるか？
• RQ3 隠れ表現の出力条件付き分布のエントロピーを用いてAleatoric不確実性を捉えることができるか？
• RQ4 不確実性はニューラルネットワークの異なる層でどのように変化するか？
• RQ5 提案手法は分類および回帰モデルの両方で有効か？

主な発見

• Epistemic不確実性は潜在表現の驚き（負の対数尤度）と強く相関しており、これが代理指標としての有効性が確認された。
• Aleatoric不確実性は、潜在表現に条件づけられた予測分布のエントロピーによって効果的に定量化された。
• 決定論的ニューラルネットワークの隠れ表現には、両形式の不確実性に関する意味のある情報が含まれている。
• 潜在空間の密度から得られる不確実性推定値は、異なるネットワーク層およびモデルアーキテクチャで一貫性を示した。
• OOD検出ベンチマークでの実証的検証により、分類および回帰タスクの両方で信頼性の高い不確実性定量化が達成された。
• これらの発見は、決定論的ディープラーニングモデルにおける汎用的な不確実性定量化手法として、潜在空間の密度推定を用いることが有効であることを支持する。