[論文レビュー] Simple and Principled Uncertainty Estimation with Deterministic Deep Learning via Distance Awareness

Jeremiah Zhe Liu, Zi Lin+4 more|arXiv (Cornell University)|Jun 17, 2020

Gaussian Processes and Bayesian Inference参考文献 84被引用数 106

ひとこと要約

SNGP は GP 出力層の追加と隠れ層のスペクトル正規化により、単一モデルの深層ニューラルネットに距離感知的不確実性を導入し、シングルフォワードパス推論と比較して深層アンサンブルと同等レベルの不確実性の較正とOOD検出を達成する。

ABSTRACT

Bayesian neural networks (BNN) and deep ensembles are principled approaches to estimate the predictive uncertainty of a deep learning model. However their practicality in real-time, industrial-scale applications are limited due to their heavy memory and inference cost. This motivates us to study principled approaches to high-quality uncertainty estimation that require only a single deep neural network (DNN). By formalizing the uncertainty quantification as a minimax learning problem, we first identify input distance awareness, i.e., the model's ability to quantify the distance of a testing example from the training data in the input space, as a necessary condition for a DNN to achieve high-quality (i.e., minimax optimal) uncertainty estimation. We then propose Spectral-normalized Neural Gaussian Process (SNGP), a simple method that improves the distance-awareness ability of modern DNNs, by adding a weight normalization step during training and replacing the output layer with a Gaussian process. On a suite of vision and language understanding tasks and on modern architectures (Wide-ResNet and BERT), SNGP is competitive with deep ensembles in prediction, calibration and out-of-domain detection, and outperforms the other single-model approaches.

研究の動機と目的

• アンサンブルを用いずに、リアルタイムかつ産業規模のシステムに対する principled 不確実性推定を動機づける。
• 距離認識を minimax 不確実性性能に不可欠な要素として形式化する。
• 実用的でスケーラブルな手法（SNGP）を提案し、単一のDNNで信頼性の高い不確実性を得る。
• 視覚・言語タスクで深層アンサンブルと比較して競争力のある不確実性品質を示す。

提案手法

• 不確実性推定を minimax 問題として定式化する。最適解は、訓練データ領内の予測と一様な訓練外領域成分を組み合わせる。
• 密な出力層を、RBFカーネルを用いるGaussian Processに置換する。スケーラビリティのため、GPをランダムフーリエ特徴展開のラプラス近似で近似する。
• 残差ブロックにスペクトル正規化を適用して隠れ写像に距離保存性を課す（bi-Lipschitz 条件）。
• SGDでエンドツーエンド学習を実行; 最終エポックでGPポスターリオを閉形式で更新; 計算した事後分散を用いたGaussian-processベースのソフトマックスで予測を行う（モンテカルロサンプリングなし）。
• 隠れ表現 h(x) が bi-Lipschitz 境界を満たすようにして訓練多様体への意味のある距離を維持する。リップシッツ定数はスペクトル正規化（パワーイテレーションベース）で制御。
• 学習アルゴリズム（Algorithm 1）と予測アルゴリズム（Algorithm 2）を提供。

実験結果

リサーチクエスチョン

• RQ1 距離認識が保証されていれば、単一決定論的DNNはアンサンブルと同等の高品質な不確実性推定を達成できるか？
• RQ2 出力層が入力距離を反映しつつ、隠れ表現に意味のある距離を維持するにはどうすればよいか？
• RQ3 距離認識GP出力と距離保存隠れ写像を組み合わせると、視覚・言語タスクで較正とOOD検出が改善されるか？
• RQ4 スペクトル正規化は現代アーキテクチャに対して距離保存を課すスケーラブルで有効な手法か？

主な発見

Method	Accuracy Clean	Accuracy Corrupted	ECE Clean	ECE Corrupted	NLL Clean	NLL Corrupted	OOD AUPR SVHN	OOD AUPR CIFAR-100	Latency (ms / example)
Deterministic	96.0 ± 0.01	72.9 ± 0.01	0.023 ± 0.002	0.153 ± 0.011	0.158 ± 0.01	1.059 ± 0.02	0.781 ± 0.01	0.835 ± 0.01	3.91
MC Dropout	96.0 ± 0.01	70.0 ± 0.02	0.021 ± 0.002	0.116 ± 0.009	0.173 ± 0.01	1.152 ± 0.01	0.971 ± 0.01	0.832 ± 0.01	27.10
Deep Ensembles	96.6 ± 0.01	77.9 ± 0.01	0.010 ± 0.001	0.087 ± 0.004	0.114 ± 0.01	0.815 ± 0.01	0.964 ± 0.01	0.888 ± 0.01	38.10
MCD-GP	95.5 ± 0.02	70.0 ± 0.01	0.024 ± 0.004	0.100 ± 0.007	0.172 ± 0.01	1.157 ± 0.01	0.960 ± 0.01	0.863 ± 0.01	29.53
DUQ	94.7 ± 0.02	71.6 ± 0.02	0.034 ± 0.002	0.183 ± 0.011	0.239 ± 0.02	1.348 ± 0.01	0.973 ± 0.01	0.854 ± 0.01	8.68
DNN-SN	96.0 ± 0.01	72.5 ± 0.01	0.025 ± 0.004	0.178 ± 0.013	0.171 ± 0.01	1.306 ± 0.01	0.974 ± 0.01	0.859 ± 0.01	5.20
DNN-GP	95.9 ± 0.01	71.7 ± 0.01	0.029 ± 0.002	0.175 ± 0.008	0.221 ± 0.02	1.380 ± 0.01	0.976 ± 0.01	0.887 ± 0.01	5.58
SNGP (Ours)	95.9 ± 0.01	74.6 ± 0.01	0.018 ± 0.001	0.090 ± 0.012	0.138 ± 0.01	0.935 ± 0.01	0.990 ± 0.01	0.905 ± 0.01	6.25

• SNGP は較正とOOD検出において深層アンサンブルと競合する不確実性性能を、単一モデルのレイテンシーを維持したまま実現する。
• 距離認識出力層とGP、距離保存隠れ写しをスペクトル正規化で実現したことで、密な出力のみの単一モデルよりも距離認識不確実性が高まる。
• Wide ResNet-28-10 での CIFAR-10/100 において、SNGP は OOD 検出（OOD AUPR）を改善し、精度を決定論的ベースラインに近づける。
• BERT-base を用いた CLINC OOS インテントで、SNGP は較正された不確実性とロバストなアウトオブドメイン処理をマルチモデルアンサンブルなしで実現。
• MCD-GP および DUQ に対して、SNGP は距離認識に基づく不確実性が優れ、OOD性能と較正の改善につながる。
• 2D の合成ベンチマーク全体で、SNGP は浅いGPの距離認識不確実性を模倣し、標準的な深層アンサンブルやMC Dropout とは異なる挙動を示す。