[論文レビュー] Bayesian Convolutional Neural Networks

Felix Laumann, Kumar Shridhar|arXiv (Cornell University)|Jun 15, 2018

Adversarial Robustness in Machine Learning参考文献 18被引用数 15

ひとこと要約

この論文は、正規化されたソフトプラス出力を用いた変分推論を用いたベイジアン畳み込みニューラルネットワークを提案し、分類タスクにおけるアレアトリックおよびエピステミック不確実性を同時に推定する。MNIST、CIFAR-10、CIFAR-100において頻度主義モデルと同等の性能を達成すると同時に、自然に不確実性の定量化と正則化を組み込むことができる。

ABSTRACT

We introduce a novel uncertainty estimation for classification tasks for Bayesian convolutional neural networks with variational inference. By normalizing the output of a Softplus function in the final layer, we estimate aleatoric and epistemic uncertainty in a coherent manner. The intractable posterior probability distributions over weights are inferred by Bayes by Backprop. Firstly, we demonstrate how this reliable variational inference method can serve as a fundamental construct for various network architectures. On multiple datasets in supervised learning settings (MNIST, CIFAR-10, CIFAR-100), this variational inference method achieves performances equivalent to frequentist inference in identical architectures, while the two desiderata, a measure for uncertainty and regularization are incorporated naturally. Secondly, we examine how our proposed measure for aleatoric and epistemic uncertainties is derived and validate it on the aforementioned datasets.

研究の動機と目的

• ベイジアン畳み込みニューラルネットワークにおける不確実性推定を一貫的に行える、信頼性の高い変分推論手法の開発。
• 単一のディープラーニングフレームワーク内で、アレアトリックおよびエピステミック不確実性推定を自然に統合すること。
• 提案手法が、標準的な（頻度主義的）モデルと同等の性能を、標準的なビジョンベンチマークで達成できることを示すこと。
• MNIST、CIFAR-10、CIFAR-100を含む実世界のデータセットにおいて、不確実性推定の妥当性を検証すること。

提案手法

• 本手法は、ネットワーク重みの事後分布を計算できないため、Bayes-by-Backpropを用いて近似する。
• 最終層に正規化されたソフトプラス関数を適用し、補正された不確実性推定を実現する。
• アレアトリック不確実性は、ソフトプラス出力のスケールを用いてモデル化され、データ駆動のノイズを捉える。
• エピステミック不確実性は、重み事後分布の分散から推定され、変分推論によって算出される。
• 正規化により、予測の信頼度にかかわらず、安定的かつ一貫性のある不確実性補正が保証される。
• 本フレームワークは、複数のアーキテクチャに適用可能であり、異なるネットワーク設計にわたる汎用性を示している。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンCNNにおける変分推論は、統合的なフレームワーク内で、アレアトリックおよびエピステミック不確実性を信頼性高く推定できるか？
• RQ2 提案された不確実性推定手法は、画像分類タスクにおいて、標準的な（頻度主義的）モデルと同等の性能を維持できるか？
• RQ3 推定された不確実性は、ベンチマークデータセットにおける実際の予測信頼性とどの程度相関しているか？
• RQ4 本手法は、性能の劣化を伴わずに、異なるネットワークアーキテクチャに一般化可能か？

主な発見

• 提案されたベイジアンCNNは、MNIST、CIFAR-10、CIFAR-100において、標準的な（頻度主義的）モデルと同等の分類性能を達成した。
• 変分事後分布による正則化が自然に組み込まれており、追加のハイパーパrameterなしに一般化性能が向上した。
• アレアトリックおよびエピステミック不確実性は一貫して推定され、テストされたすべてのデータセットで適切に補正された状態を維持した。
• 正規化されたソフトプラス出力により、予測における過信を回避する安定した不確実性推定が実現された。