[論文レビュー] Evidential Deep Learning to Quantify Classification Uncertainty

Murat Şensoy, Lance Kaplan+1 more|arXiv (Cornell University)|Jun 5, 2018

Adversarial Robustness in Machine Learning被引用数 523

ひとこと要約

この論文は、クラス確率のディリクレ分布を置くことで予測不確実性をモデル化する evidential deep learning (EDL) を提案し、明示的な不確実性推定とOODデータおよび敵対的攻撃に対する頑健性の向上を可能にします。競争力のある精度を維持しつつ、いくつかのベイズ推定・アンサンブルのベースラインを上回る較正された不確実性推定を提供します。

ABSTRACT

Deterministic neural nets have been shown to learn effective predictors on a wide range of machine learning problems. However, as the standard approach is to train the network to minimize a prediction loss, the resultant model remains ignorant to its prediction confidence. Orthogonally to Bayesian neural nets that indirectly infer prediction uncertainty through weight uncertainties, we propose explicit modeling of the same using the theory of subjective logic. By placing a Dirichlet distribution on the class probabilities, we treat predictions of a neural net as subjective opinions and learn the function that collects the evidence leading to these opinions by a deterministic neural net from data. The resultant predictor for a multi-class classification problem is another Dirichlet distribution whose parameters are set by the continuous output of a neural net. We provide a preliminary analysis on how the peculiarities of our new loss function drive improved uncertainty estimation. We observe that our method achieves unprecedented success on detection of out-of-distribution queries and endurance against adversarial perturbations.

研究の動機と目的

• 標準的なソフトマックス確率を超えた分類器の頑健な不確実性推定を動機づける。
• 予測をソフトマックス出力の分布として表現するディリクレベースの evidential フレームワークを導入する。
• データ適合と不確実性の制御を同時に行う学習損失を開発する。
• 過信した誤予測を抑制するために、I do not know 状態へのKL発散で予測を正則化する。

提案手法

• ソフトマックスの代わりに、ディリクレ分布をパラメータ化する非負の証拠ベクトルを用いる。
• ディリクレのパラメータ α_i = f(x_i|Θ) + 1 を定義する。ここで f はニューラルネットワークの出力。
• 損失はL2型の目的関数に基づく: L_i(Θ) = sum_j (y_ij - E[p_ij])^2 + Var(p_ij) であり、αと S = sum α を用いたクラスごとの項に展開される。
• 証拠が不足している場合（I do not know 状態）には、予測を一様ディリクレへ近づけるKL発散項を組み込み、訓練エポックにわたってアニーリングする。
• 標準の誤差伝播を用いた LeNet様のアーキテクチャと Adam オプティマイザで訓練する。
• MNIST および CIFAR-10 の派生データセットに対して L2、Dropout、Deep Ensemble、変分ベイズネットと比較する。

実験結果

リサーチクエスチョン

• RQ1 ディリクレ分布化された予測はニューラル分類器に対して信頼できる epistemic 不確実性を提供できるか。
• RQ2 EDLはベイズ法およびアンサンブル法と比べて、OOD検知と敵対的頑健性の面でどの程度性能を示すか。
• RQ3 提案された損失はデータ適合と不確実性の較正を効果的にバランスできるか。

主な発見

手法	MNIST	CIFAR5
L2	99.4	76
Dropout	99.5	84
Deep Ensemble	99.3	79
FFGU	99.1	78
FFLU	99.1	77
MNFG	99.3	84
EDL	99.3	83

• 提案されたEDL法はMNISTとCIFAR-5で競争力のある精度を示しつつ、明示的な不確実性推定を提供する。
• EDLはnotMNIST（OOD）を比較基準より高い不確実性と低い信頼度で検出する。
• 敵対的摂動下では、EDLは誤予測に対してより高い不確実性を維持し、他手法と比較して精度と不確実性のトレードオフが有利になる。
• ディリクレベースのアプローチは、標準のソフトマックスベースのモデルより入力分布シフトを反映した予測分布を生成する。