[論文レビュー] Deep Deterministic Uncertainty: A Simple Baseline

Jishnu Mukhoti, Andreas Kirsch+3 more|arXiv (Cornell University)|Feb 23, 2021

Fault Detection and Control Systems被引用数 18

ひとこと要約

本論文では、深層学習における不確実性評価のためのシンプルで強力なベースラインであるDeep Deterministic Uncertainty (DDU)を紹介する。残差接続とスペクトル正則化により、良好に正則化された特徴空間を活用することで、微調整やアンサンブルを用いずに1回の順伝播のみで、DUQ や SNGP よりも優れた性能を達成し、分布外検出およびアクティブラーニングの分野で最先端の性能を発揮する。

ABSTRACT

Reliable uncertainty from deterministic single-forward pass models is sought after because conventional methods of uncertainty quantification are computationally expensive. We take two complex single-forward-pass uncertainty approaches, DUQ and SNGP, and examine whether they mainly rely on a well-regularized feature space. Crucially, without using their more complex methods for estimating uncertainty, a single softmax neural net with such a feature-space, achieved via residual connections and spectral normalization, *outperforms* DUQ and SNGP's epistemic uncertainty predictions using simple Gaussian Discriminant Analysis *post-training* as a separate feature-space density estimator -- without fine-tuning on OoD data, feature ensembling, or input pre-procressing. This conceptually simple *Deep Deterministic Uncertainty (DDU)* baseline can also be used to disentangle aleatoric and epistemic uncertainty and performs as well as Deep Ensembles, the state-of-the art for uncertainty prediction, on several OoD benchmarks (CIFAR-10/100 vs SVHN/Tiny-ImageNet, ImageNet vs ImageNet-O) as well as in active learning settings across different model architectures, yet is *computationally cheaper*.

研究の動機と目的

• DUQ や SNGP といった複雑な1回順伝播型不確実性推定手法が、主に良好に正則化された特徴空間に依存しているかどうかを調査すること。
• アンサンブルや微調整、入力前処理を一切行わず、強力な不確実性推定を達成できる概念的にシンプルなベースラインを構築すること。
• 最小限のアーキテクチャと良好に正則化された特徴を用いて、アルエアトロニクス的不確実性とエピステメティック不確実性を分離すること。
• 異なるアーキテクチャを用いて、分布外検出およびアクティブラーニングのベンチマークで手法を評価すること。

提案手法

• 残差接続とスペクトル正則化を用いて、良好に正則化された特徴空間を生成する標準的なソフトマックスニューラルネットワークを訓練する。
• 最終層の特徴量に対して、後処理の密度推定器としてガウス・ミックス・モデル (GMM) を用い、エピステメティック不確実性を推定する。
• ログティチュード上でソフトマックス交差エントロピーを用いて、アルエアトロニクス的不確実性を推定する。
• ガウス判別分析 (GDA) を用いて、クラス条件付き密度を同時にモデル化し、不確実性タイプの分離を図る。
• 標準的な交差エントロピー損失でモデルをエンドツーエンドに訓練した後、推論後にGMMとソフトマックスエントロピーを適用する。
• 分布外データでの微調整や入力前処理を避け、アーキテクチャの正則化と後処理の密度推定にのみ依存する。

実験結果

リサーチクエスチョン

• RQ1 良好に正則化された特徴空間のみを用いるシンプルで決定論的な1回順伝播モデルが、DUQ や SNGP よりも優れた性能を発揮できるか？
• RQ2 高度な不確実性推定手法の性能が、主に特徴空間の正則化に起因しているのか、それとも複雑な不確実性推定メカニズムに起因しているのか？
• RQ3 残差接続とスペクトル正則化を備えた最小限のアーキテクチャが、アルエアトロニクス的不確実性とエピステメティック不確実性の有効な分離を可能にするか？
• RQ4 複数のデータセットとアーキテクチャにおいて、提案されたDDUベースラインは深層アンサンブルと比較してどのように性能を発揮するか？
• RQ5 アーキテクチャのインダクティブバイアス（例：残差接続、スペクトル正則化）は、不確実性評価のための特徴空間密度推定の質にどのような影響を与えるか？

主な発見

• CIFAR-10 vs SVHN/CIFAR-100/Tiny-ImageNet および ImageNet vs ImageNet-O ベンチマークにおいて、DDUは分布外検出で最先端の性能を発揮し、それぞれAUROCスコアが97.86%および91.34%を記録した。
• CIFAR-100 vs SVHN/Tiny-ImageNet では、SVHNで87.53%、Tiny-ImageNetで83.13%のAUROCを達成し、SNGPを上回り、5アンサンブルモデルと同等の性能を発揮した。
• CIFAR-10 vs SVHN において、期待補正誤差 (ECE) を0.85±0.04に低減し、DUQ (1.55±0.08) を上回り、最良の手法と同等の性能を発揮した。
• アクティブラーニングにおいて、DDUは複数のアーキテクチャで深層アンサンブルと同等の性能を発揮し、優れた不確実性補正と予測能力を示した。
• 本手法は、アルエアトロニクス的不確実性とエピステメティック不確実性を成功裏に分離した：ソフトマックスエントロピーは分布内データの曖昧さを捉え、特徴量上のGMMは分布外サンプルのモデル不確実性を捉えた。
• 適切なインダクティブバイアス（例：残差接続、スペクトル正則化）がなければ、特徴空間密度推定は失敗し、分布内と分布外の密度が重複する（特徴崩壊）ことになる。