[論文レビュー] Uncertainty Estimations by Softplus normalization in Bayesian Convolutional Neural Networks with Variational Inference

Kumar Shridhar, Felix Laumann+1 more|arXiv (Cornell University)|Jun 15, 2018

Adversarial Robustness in Machine Learning参考文献 36被引用数 60

ひとこと要約

この論文は、 variational inferenceで訓練されたベイズCNNにおける aleatoric および epistemic 不確実性を推定する Softplus 正規化を提案し、MNIST、CIFAR-10、および CIFAR-100 の複数のアーキテクチャに対する不確実性推定を示します。

ABSTRACT

We introduce a novel uncertainty estimation for classification tasks for Bayesian convolutional neural networks with variational inference. By normalizing the output of a Softplus function in the final layer, we estimate aleatoric and epistemic uncertainty in a coherent manner. The intractable posterior probability distributions over weights are inferred by Bayes by Backprop. Firstly, we demonstrate how this reliable variational inference method can serve as a fundamental construct for various network architectures. On multiple datasets in supervised learning settings (MNIST, CIFAR-10, CIFAR-100), this variational inference method achieves performances equivalent to frequentist inference in identical architectures, while the two desiderata, a measure for uncertainty and regularization are incorporated naturally. Secondly, we examine how our proposed measure for aleatoric and epistemic uncertainties is derived and validate it on the aforementioned datasets.

研究の動機と目的

• CNN における不確実性の定量化の必要性を動機づけ、モデルの信頼性と訓練の正則化を促進する。
• 重みの平均と分散を学習するために二つの畳み込み操作を用いた Bayes by Backprop を用いたベイズCNN フレームワークを開発する。
• Softmax の不整合を回避して aleatoric および epistemic 不確実性を推定する Softplus 正規化を導入する。
• 標準データセット上で正則化効果を伴う競争力のある精度を variational Bayesian CNN が達成することを示す。
• アーキテクチャとデータセットを跨ぐ不確実性推定の経験的分析を提供する。

提案手法

• CNN に Bayes by Backprop を適用し、重み後方分布をガウス分布の変分分布で近似する。
• 各フィルタごとに平均 (μ) と分散 (αμ^2) を学習するために二つの逐次畳み込み操作を用いる。
• 効率性のために重みのサンプリングではなく活性化をサンプリングする局所的再パラメータ化を使用する。
• 不確実性推定を Softmax ベースから Softplus 正規化に置換し、予測分散を計算する。
• qθ(w|D) 上のモンテカルロサンプリングを用いて予測分散を aleatoric と epistemic の成分に分解する。
• MNIST、CIFAR-10、CIFAR-100 で訓練した LeNet-5、AlexNet、VGG アーキテクチャを評価する。

実験結果

リサーチクエスチョン

• RQ1 Bayes by Backprop ベースの変分 CNN は標準ベンチマークにおいて頻度論的 CNN と比較して競争力のある分類精度を提供できるか。
• RQ2 出力層に Softmax 活性化を用いずに、CNN において aleatoric と epistemic 不確実性を一貫して推定できるか。
• RQ3 Softplus 正規化は画像分類のベンチマークで堅牢で適切に較正された予測不確実性をもたらすか。
• RQ4 異なるアーキテクチャとデータセットにおけるモデルの精度と epistemic 不確実性の関係はどのようになるか。
• RQ5 データセットの特徴（例：MNIST 対 CIFAR）は推定される aleatoric 不確実性にどのような影響を与えるか。

主な発見

アーキテクチャ	MNIST	CIFAR-10	CIFAR-100
Bayesian VGG (with VI)	99	86	45
Frequentist VGG	99	85	48
Bayesian AlexNet (with VI)	99	73	36
Frequentist AlexNet	99	73	38
Bayesian LeNet-5 (with VI)	98	69	31
Frequentist LeNet-5	98	68	33
Bayesian LeNet-5 (with Dropout)	99	83	-
Table 2 models (MNIST CIFAR-10 CIFAR-? not applicable)	-	-	-

• ベイズ CNN（変分推定）は MNIST、CIFAR-10、CIFAR-100 の検証精度で頻度論的な counterparts と同等の性能を達成する。
• Softplus 正規化は Softmax の不整合を導入することなく不確実性推定を可能にし、aleatoric および epistemic 不確実性の推定を提供する。
• aleatoric 不確実性はデータセット依存的で、 given データセットに対してモデル間で大きくは変わらないのに対し; epistemic 不確実性は検証精度が向上すると低くなる傾向がある。
• アーキテクチャを跨いで、より高い検証精度はより低い epistemic 不確実性と相関し、モデル由来の不確実性低減を示す。
• Softplus 正規化は追加のガウスノイズのあるピクセルノイズ下でも安定した不確実性推定を生み出し、入力撹乱に対する aleatoric 不確実性の頑健性を示す。