[論文レビュー] Quantifying Classification Uncertainty using Regularized Evidential Neural Networks

Xujiang Zhao, Yuzhe Ou+3 more|arXiv (Cornell University)|Oct 15, 2019

Adversarial Robustness in Machine Learning参考文献 13被引用数 13

ひとこと要約

本稿では、訓練中に標的付き正則化を適用することにより、空虚性（証拠の欠如）と不協和性（矛盾する証拠）の2種類のデータ不確実性を明示的にモデル化する正則化済み証拠ニューラルネットワーク（正則化ENNs）を提案する。この手法は分類タスクにおける分布外検出および不確実性の定量化を向上させ、実験により、空虚性と不協和性の両方を正則化したENNVac-Dissが、ベースラインのENNsおよび標準的なニューラルネットワークよりも不確実性の推定と未知クラスの同定において優れた性能を示した。

ABSTRACT

Traditional deep neural nets (NNs) have shown the state-of-the-art performance in the task of classification in various applications. However, NNs have not considered any types of uncertainty associated with the class probabilities to minimize risk due to misclassification under uncertainty in real life. Unlike Bayesian neural nets indirectly infering uncertainty through weight uncertainties, evidential neural networks (ENNs) have been recently proposed to support explicit modeling of the uncertainty of class probabilities. It treats predictions of an NN as subjective opinions and learns the function by collecting the evidence leading to these opinions by a deterministic NN from data. However, an ENN is trained as a black box without explicitly considering different types of inherent data uncertainty, such as vacuity (uncertainty due to a lack of evidence) or dissonance (uncertainty due to conflicting evidence). This paper presents a new approach, called a {\em regularized ENN}, that learns an ENN based on regularizations related to different characteristics of inherent data uncertainty. Via the experiments with both synthetic and real-world datasets, we demonstrate that the proposed regularized ENN can better learn of an ENN modeling different types of uncertainty in the class probabilities for classification tasks.

研究の動機と目的

• 従来のディープニューラルネットワークおよび標準的な証拠ニューラルネットワークにおける、固有のデータ不確実性タイプ（例えば空虚性や不協和性）の明示的モデリングの欠如に対処すること。
• 空虚性および不協和性の次元に特化した正則化技術を組み込むことで、分類タスクにおける不確実性の定量化を向上させること。
• 構造的な不確実性正則化を通じてより信頼性の高い主観的意見推定を学習することにより、分布外（OOD）検出性能を向上させること。
• 合成データおよび実世界のデータセット（CIFAR-10を含む）において、提案された正則化ENNフレームワークの有効性を検証すること。

提案手法

• 本手法は、訓練中に特定の不確実性特性（空虚性および不協和性）を明示的にペナルティ化または促進する正則化項を導入することで、証拠ニューラルネットワーク（ENNs）を拡張する。
• 空虚性正則化は、訓練データから遠く離れた領域での自信を低下させることで、分布外サンプルに対して高い不確実性（低い証拠）を促進する。
• 不協和性正則化は、複数のクラスにわたる証拠の矛盾を示す、クラス境界付近の曖昧または境界領域で高い不協和性を促進する。
• モデルは、主観的意見（クラス確率）を表すためにディリクレ分布を用い、証拠パラメータを決定的ニューラルネットワークを介して更新する。
• 正則化は、特定のデータ領域における空虚性および不協和性の強調を目的とした、標準ENNLossを変更する損失関数を通じて適用される。
• 本手法は、交差エントロピーと不確実性に配慮した損失成分を併用してエンドツーエンドで訓練され、最適な不確実性推定を得るためにハイパーパrameterが調整される。

実験結果

リサーチクエスチョン

• RQ1 空虚性に対する明示的な正則化は、証拠ニューラルネットワークにおける分布外検出を改善できるか？
• RQ2 不協和性正則化を組み込むことで、分類予測における矛盾する証拠のモデリングがより正確になるか？
• RQ3 合成および実世界のデータセットにおいて、空虚性と不協和性正則化は、不確実性の定量化においてどのように比較されるか？
• RQ4 空虚性と不協和性の両方に対する共同正則化は、個別またはベースライン手法と比較して、より優れた全体的な不確実性推定を達成できるか？
• RQ5 分布外トレーニングサンプルの選択が、空虚性推定の正確性に与える影響は何か？

主な発見

• 空虚性と不協和性の両方を正則化したENNVac-Dissモデルは、すべてのベースラインより分布外検出で優れており、複数の不確実性次元をモデリングすることの利点を示した。
• ENNVacは、特に訓練データから遠く離れた領域において、分布外サンプルに対して顕著に高い空虚性を示した。これは、空虚性正則化によるOOD検出の向上を確認した。
• ENNDissは、クラス境界付近で高い不協和性値を生成し、分類意思決定における曖昧または矛盾する証拠の検出が向上したことを示した。
• CIFAR-10データセットでは、予測エントロピーの経験的累積分布関数（CDF）が、ENNVacがENNやSoftmaxと比較して特に分布外サンプルにおいて顕著に高いエントロピー（より高い不確実性）を達成したことを示した。
• 適切な分布外トレーニングサンプルの選択は、空虚性推定の正確性にとって不可欠であり、不適切なOODサンプルの選択は、最適でない空虚性レベルをもたらした。