[論文レビュー] Towards Principled Uncertainty Estimation for Deep Neural Networks

Richard Harang, Ethan M. Rudd|arXiv (Cornell University)|Oct 29, 2018

Gaussian Processes and Bayesian Inference参考文献 21被引用数 4

ひとこと要約

本稿では、ベイジアン推論、可逆な正規化フロー、判別的分類を組み合わせることで、モデル容量、内在的データ、オープンセットの3種類の不確実性を統合的に推定する階層的深層ニューラルネットワークを提案する。このモデルは、最小限の計算オーバーヘッドで効率的かつエンドツーエンドのサンプルごとの不確実性推定を可能にし、ガウス型潜在空間の仮定の下でオープンセットリスクを明示的に境界づける。

ABSTRACT

When the cost of misclassifying a sample is high, it is useful to have an accurate estimate of uncertainty in the prediction for that sample. There are also multiple types of uncertainty which are best estimated in different ways, for example, uncertainty that is intrinsic to the training set may be well-handled by a Bayesian approach, while uncertainty introduced by shifts between training and query distributions may be better-addressed by density/support estimation. In this paper, we examine three types of uncertainty: model capacity uncertainty, intrinsic data uncertainty, and open set uncertainty, and review techniques that have been derived to address each one. We then introduce a unified hierarchical model, which combines methods from Bayesian inference, invertible latent density inference, and discriminative classification in a single end-to-end deep neural network topology to yield efficient per-sample uncertainty estimation in a detection context. This approach addresses all three uncertainty types and can readily accommodate prior/base rates for binary detection. We then discuss how to extend this model to a more generic multiclass recognition context.

研究の動機と目的

• 深層ニューラルネットワークにおける異なる種類の不確実性を区別できない既存の不確実性推定手法の限界を解消すること。
• モデル容量、内在的データ、オープンセット不確実性を同時にモデル化できるスケーラブルでエンドツーエンドの深層学習アーキテクチャの開発。
• 実用的で校正されたサンプルごとの不確実性推定を提供し、高リスクな応用分野への導入を可能にすること。
• 二値検出タスクにおいて事前確率／ベースレートを自然に組み込むこと。
• 多クラス認識に、ディリクレ事前分布を用いた多項分布ノイズモデルへとフレームワークを拡張すること。

提案手法

• ベイジアンにインspiredされた確率的ヘッドと、共有された深層ニューラルネットワークアーキテクチャ内の正規化フローに基づく密度推定器を統合する。
• 逆変換可能な潜在密度推論を用いて、分離された潜在空間における入力の尤度をモデル化し、密度推定による不確実性評価を可能にする。
• 判別的クロスエントロピーヘッドにより正確な分類を確保するとともに、潜在空間をクラス固有の分布が分離するように正則化する。
• 分類損失と不確実性推定のための尤度最大化を組み合わせた共同目的関数を用いて、エンドツーエンドでモデルを学習する。
• 潜在空間におけるクラス固有のガウス出力を用いてクラス内サポートをモデル化し、クラスタ間の高密度領域のリスクを低減する。
• フレームワークは、二値検出において事前確率とベースレートを自然に組み込み、潜在密度がガウス分布に収束する仮定の下でオープンセットリスクの理論的境界を提供する。

実験結果

リサーチクエスチョン

• RQ1 1つの深層学習モデルが、モデル容量、内在的データ、オープンセットの3種類の明確に異なる不確実性を同時に効果的に推定できるか。
• RQ2 ベイジアン推論、正規化フロー、判別的学習を統合した統一アーキテクチャが、低推論コストで校正された不確実性推定を実現できるか。
• RQ3 分布シフトや分布外入力の下で、モデルの不確実性推定性能はどのように変化するか。
• RQ4 単一の共有ガウス分布と比較して、クラス固有の潜在ガウス分布を用いることで、密度推定と不確実性の校正にどのような影響があるか。
• RQ5 二値検出タスクにおいて、事前知識やベースレートを不確実性推定プロセスにどのように組み込むことができるか。

主な発見

• モデルは1回の順伝播のみで効率的なサンプルごとの不確実性推定を実現し、リアルタイム応用に適している。
• 文字認識タスクにおける実験的評価では、誤検出の17%が'l'が'1'に誤分類されたこと、12%が'I'が'1'に誤分類されたことによるものであった。
• モデルは、'O'が'0'に誤分類されるような妥当な誤り（例：'O' as '0'）と、明確な誤り（例：'S' as '5'）を区別でき、密度推定器の品質評価を向上させる。
• クラス固有の潜在ガウス分布の使用により、単一ガウス分布フローのモデルで知られるクラスタ間の偽の高密度領域の問題が緩和される。
• 潜在密度がガウス分布に収束する仮定の下で、オープンセットリスクが理論的に境界づけられるため、不確実性の校正に理論的根拠が与えられる。
• 多項分布ノイズモデルとディリクレ共役事前分布を用いた多クラス認識へとフレームワークは自然に拡張可能であるが、この領域における形式的な不確実性評価は今後の研究課題のままである。