[論文レビュー] Simple and Scalable Epistemic Uncertainty Estimation Using a Single Deep Deterministic Neural Network

Joost van Amersfoort, Lewis Smith+2 more|arXiv (Cornell University)|Mar 4, 2020

Anomaly Detection Techniques and Applications被引用数 13

ひとこと要約

本稿では、1回の順方向伝搬でエピステミックな不確実性を推定し、分布外（OOD）入力を検出できる、単一の深層決定的ニューラルネットワークである決定的不確実性評価（DUQ）を紹介する。RBFにインspiredされたアーキテクチャと、新しい損失関数および勾配ペナルティを組み合わせることで、FashionMNIST 対 MNIST や CIFAR-10 対 SVHN といった OOD 検出ベンチマークで最先端または競争力のある性能を達成し、ソフトマックスモデルの精度を維持しながら効率的にスケーリング可能である。

ABSTRACT

We propose a method for training a deterministic deep model that can find and reject out of distribution data points at test time with a single forward pass. Our approach, deterministic uncertainty quantification (DUQ), builds upon ideas of RBF networks. We scale training in these with a novel loss function and centroid updating scheme and match the accuracy of softmax models. By enforcing detectability of changes in the input using a gradient penalty, we are able to reliably detect out of distribution data. Our uncertainty quantification scales well to large datasets, and using a single model, we improve upon or match Deep Ensembles in out of distribution detection on notable difficult dataset pairs such as FashionMNIST vs. MNIST, and CIFAR-10 vs. SVHN.

研究の動機と目的

• アンサンブルを用いず、深層ニューラルネットワークにおけるエピステミックな不確実性推定のスケーラブルな手法の開発。
• テスト時に1回の順方向伝搬のみを用いて、信頼性のある分布外（OOD）検出を可能にする。
• ソフトマックスベースのモデルの精度を維持しながら、OOD 検出性能を向上させること。
• 決定的アーキテクチャを用いて、大規模データセットへの不確実性推定のスケーリング。

提案手法

• 本手法は、ラジアル基底関数（RBF）にインspiredされた隠れユニットを備えた深層決定的ニューラルネットワークを用い、不確実性をモデル化する。
• 分布シフトの検出を強制するため、エンドツーエンドで訓練可能な新しい損失関数を導入する。
• トレーニング中に重心の更新を用いて、RBFに基づく表現学習の安定化とスケーリングを図る。
• 分布シフトへの応答としてモデル出力が検出可能に変化するよう、勾配ペナルティを適用する。
• 推論時に、分布外入力に対して高い不確実性スコアを出力するようにモデルを訓練する。
• テスト時に、不確実性評価パイプライン全体が1回の順方向伝搬で動作する。

実験結果

リサーチクエスチョン

• RQ1 1つの決定的深層ニューラルネットワークが、アンサンブルを用いず、競争力ある OOD 検出性能を達成できるか。
• RQ2 新しい損失関数を備えた RBF アーキテクチャは、テスト時入力における分布シフトをどの程度効果的に検出できるか。
• RQ3 勾配ペナルティが、決定的モデルにおける分布外サンプルの検出可能性をどの程度向上させるか。
• RQ4 提案手法は、高精度と不確実性のキャリブレーションを維持したまま、大規模データセットへスケーリング可能か。

主な発見

• DUQ は、標準的な画像分類ベンチマークにおいて、ソフトマックスベースのモデルと同等の精度を達成する。
• FashionMNIST 対 MNIST の挑戦的な OOD 検出タスクにおいて、DUQ はディープアンサンブルを上回るか、同等の性能を発揮する。
• CIFAR-10 対 SVHN の OOD 検出ベンチマークにおいて、DUQ は1つのモデルで最先端または競争力のある結果を達成する。
• 本手法により、1回の順方向伝搬のみで信頼性の高い OOD 検出が可能となり、推論効率が顕著に向上する。
• 勾配ペナルティは、分布シフトへのモデルの感受性を効果的に高め、検出の信頼性を向上させる。
• 重心の更新と新しい損失関数を組み合わせた訓練方式により、大規模データセットにおけるスケーラブルなトレーニングが可能になる。