[論文レビュー] Uncertainty Estimation Using a Single Deep Deterministic Neural Network

Joost van Amersfoort, Lewis Smith+2 more|arXiv (Cornell University)|Mar 4, 2020

Adversarial Robustness in Machine Learning参考文献 37被引用数 233

ひとこと要約

DUQはクラスセントロイドとRBF様カーネルにより決定論的な深層モデルを訓練し、1回の前方伝搬で予測不確実性を推定して OoD を検出でき、勾配正則化されたヤコビ行列による競争力のある精度を実現する。

ABSTRACT

We propose a method for training a deterministic deep model that can find and reject out of distribution data points at test time with a single forward pass. Our approach, deterministic uncertainty quantification (DUQ), builds upon ideas of RBF networks. We scale training in these with a novel loss function and centroid updating scheme and match the accuracy of softmax models. By enforcing detectability of changes in the input using a gradient penalty, we are able to reliably detect out of distribution data. Our uncertainty quantification scales well to large datasets, and using a single model, we improve upon or match Deep Ensembles in out of distribution detection on notable difficult dataset pairs such as FashionMNIST vs. MNIST, and CIFAR-10 vs. SVHN.

研究の動機と目的

• 1. 単一前方伝搬でアウト・オブ・ディストリビューションデータを検出できる決定論的モデルの訓練を aim とする。
• 2. centroid ベースの RBF-like ネットワークの訓練を安定化させ、softmax の精度にマッチさせる。
• 3. Jacobian 正則化を通じて入力変化に対する感度を課すことで信頼性の高い OoD 検出を実現する。
• 4. 勾配ペナルティが不確実性の品質と一般化に与える影響を調査する。
• 5. 標準 OoD ベンチマークで DUQ を評価し、ハイパーパラメータの影響を評価する。

提案手法

• 入力を深層特徴抽出器 f_theta で表現し、続いてクラス特異的セントロイド e_c と各クラスに対する線形写像 W_c を用いて各セントロイドへ RBF様カーネルを定義する。
• 予測は K_c = exp(-||W_c f_theta(x) - e_c||^2 / (2 sigma^2)) によって最も近いセントロイドを選択し、不確実性は最も近いセントロイドへの距離。
• 正解セントロイドへの距離を最小化しつつ他のセントロイドへの距離を最大化する多変量Bernoulli風の損失（one-vs-rest）で訓練する。
• トレーニングを安定化させるためにクラス特異的特徴の指数移動平均を用いて e_c をオンラインで更新する（モメンタム gamma）。
• 出力の入力に対する勾配を用いた Jacobian を Lipschitz 制約として正則化し、特徴崩壊を防ぐ。
• sum_c K_c の勾配のノルムを対象とする両側勾配ペナルティを導入し、一側ペナルティより感度と OoD 検出を改善。
• softmax のベースラインや Deep Ensembles と比較し、単一パスの不確実性推定で競争力のある精度を示す。

実験結果

リサーチクエスチョン

• RQ1 決定論的でセントロイドベースの深層モデルは、アンサンブルや MC サンプリングに頼らず、単一の前方伝搬で信頼できる予測不確実性を提供できるのか？
• RQ2 勾配ベースの Jacobian 正則化は、RBF様ネットワークの不確実性の品質と特徴の崩壊にどのような影響を与えるのか？
• RQ3 ハイパーパラメータ（長さスケール sigma と勾配ペナルティ lambda）が、データセット間での精度と OoD 検出性能にどのような影響を持つのか？
• RQ4 DUQ は FashionMNIST vs MNIST や CIFAR-10 vs SVHN のような難易度の高い OoD ベンチマークで Deep Ensembles や他のベースラインと比べてどうか？
• RQ5 DUQ はエピステミック不確実性とアレアトリック不確実性を区別できるのか、そして特徴空間におけるセントロイドはこれらの不確実性を反映するように配置されるのか？

主な発見

ラムダ	精度 (FM)	AUROC (NM)	AUROC (M)
0	92.4% ±0.2	0.933 ±0.009	0.948 ±0.004
0.05	92.4% ±0.2	0.946 ±0.018	0.955 ±0.007
0.1	92.4% ±0.1	0.938 ±0.0018	0.948 ±0.005
0.2	92.2% ±0.1	0.945 ±0.019	0.944 ±0.011
0.3	92.3% ±0.1	0.944 ±0.013	0.941 ±0.011
0.5	92.0% ±0.1	0.946 ±0.014	0.932 ±0.009
1.0	91.9% ±0.1	0.945 ±0.018	0.934 ±0.006

• DUQ は標準データセット（例：FashionMNIST と CIFAR-10）で softmax ベースラインと競合する精度を達成しつつ、単一パスの不確実性推定を提供する。
• ヤコビアンの両側勾配ペナルティは OoD 検出を改善し、特徴崩壊を防ぐ。one-sided ペナルティを OoD タスクで上回る。
• FashionMNIST vs MNIST では勾配ペナルティを用いた DUQ が、分布内データと OoD データの分離で複数ベースラインより高い AUROC を達成し、lambda=0.05–0.1 が強力な性能を示す。
• DUQ は OoD データ（例：MNIST, NotMNIST）を分布内データと分離でき、FashionMNIST 実験では AUROC が約 0.95 程度、精度も競争力を維持できる（例：FashionMNIST で約 92.4%）。
• CIFAR-10 vs SVHN では単一モデルで競争力のある OoD 検出性能を示す一方、複雑なデータセットでは Deep Ensembles が上回る場合がある；勾配ペナルティはペナルティなしに比べ OoD 検出を大幅に向上させる。
• 学習と推論コストは DUQ の方が Deep Ensembles より大幅に低く、特に推論時には単一前方伝搬のみで不確実性推定を行うためである。