[論文レビュー] A Simple Approach to Improve Single-Model Deep Uncertainty via Distance-Awareness

Jeremiah Zhe Liu, Shreyas Padhy+8 more|arXiv (Cornell University)|May 1, 2022

Fault Detection and Control Systems被引用数 36

ひとこと要約

本論文はSNGPを提示する。単一モデルアプローチで、出力層に距離認識を加えることでガウス過程を介して不確実性推定を改善し、スペクトル正規化を用いて距離保存表現を強制することで改善を図る。

ABSTRACT

Accurate uncertainty quantification is a major challenge in deep learning, as neural networks can make overconfident errors and assign high confidence predictions to out-of-distribution (OOD) inputs. The most popular approaches to estimate predictive uncertainty in deep learning are methods that combine predictions from multiple neural networks, such as Bayesian neural networks (BNNs) and deep ensembles. However their practicality in real-time, industrial-scale applications are limited due to the high memory and computational cost. Furthermore, ensembles and BNNs do not necessarily fix all the issues with the underlying member networks. In this work, we study principled approaches to improve uncertainty property of a single network, based on a single, deterministic representation. By formalizing the uncertainty quantification as a minimax learning problem, we first identify distance awareness, i.e., the model's ability to quantify the distance of a testing example from the training data, as a necessary condition for a DNN to achieve high-quality (i.e., minimax optimal) uncertainty estimation. We then propose Spectral-normalized Neural Gaussian Process (SNGP), a simple method that improves the distance-awareness ability of modern DNNs with two simple changes: (1) applying spectral normalization to hidden weights to enforce bi-Lipschitz smoothness in representations and (2) replacing the last output layer with a Gaussian process layer. On a suite of vision and language understanding benchmarks, SNGP outperforms other single-model approaches in prediction, calibration and out-of-domain detection. Furthermore, SNGP provides complementary benefits to popular techniques such as deep ensembles and data augmentation, making it a simple and scalable building block for probabilistic deep learning. Code is open-sourced at https://github.com/google/uncertainty-baselines

研究の動機と目的

• 安全性に敏感な応用において信頼できる不確実性の必要性を動機づける。
• 不確実性推定をミニマックス問題として形式化し、距離認識を重要な必須条件として特定する。
• 決定論的DNNに距離認識を組み込むための、シンプルでスケーラブルな手法（SNGP）を導入する。
• SNGPを用いて、視覚・言語・ゲノム分野のタスクでキャリブレーションとOOD検出の改善を示す。

提案手法

• 距離認識を定義し、それがミニマックス最適不確実性推定に必要であることを示す。
• 密な出力層を、ランダムフーリエ特徴量を用いたラプラス近似ガウス過程層に置換する。
• 内部層にスペクトル正規化を適用して、双リプシュツ距離保存表現を強制する。
• ランダム特徴空間で、ラプラス近似を用いて閉形式かつスケーラブルなGP後方分布を得る。
• 既存の不確実性アプローチおよびデータ拡張と相補的な利点と適合性を示す。

実験結果

リサーチクエスチョン

• RQ1 距離認識をどのように形式化し、高品質の不確実性推定に必要であることを示せるか？
• RQ2 距離認識表現とGP出力層を強制することで、単一の決定論的モデルが競争力のある不確実性を実現できるか？
• RQ3 SNGPは視覚と言語タスク全体でキャリブレーションとout-of-distribution検出を改善するか？
• RQ4 SNGPはアンサンブル法やデータ拡張とどのように相互作用または補完するか？
• RQ5 このアプローチは大規模アーキテクチャとデータセットに対してスケーラブルか？

主な発見

• SNGPは複数のベンチマークで他の単一モデル手法よりも一貫してキャリブレーションと域外検出を改善する。
• スペクトル正規化は内部表現における距離保存を改善し、距離認識を助ける。
• 出力層を距離認識型のガウス過程に置換すると、訓練データからの距離が大きいほど不確実性が高くなる。
• ランダムフーリエ特徴量を用いたラプラス近似GPは、決定論的DNNとエンドツーエンドでスケーラブルな訓練を可能にする。
• SNGPはアンサンブルやデータ拡張に対して補完的な利点を提供し、スケーラブルな確率的ディープラーニングを実現する。