[論文レビュー] A Comprehensive guide to Bayesian Convolutional Neural Network with Variational Inference

Kumar Shridhar, Felix Laumann+1 more|arXiv (Cornell University)|Jan 8, 2019

Generative Adversarial Networks and Image Synthesis参考文献 54被引用数 161

ひとこと要約

本論文は Bayes by Backprop に基づくベイズ型 CNN を変分推論で導入し、平均と分散の2つの畳み込み演算を用いて不確実性を定量化し、それらを画像分類・超解像・GANs に適用する。さらに剪定と効率化の改善についても論じる。

ABSTRACT

Artificial Neural Networks are connectionist systems that perform a given task by learning on examples without having prior knowledge about the task. This is done by finding an optimal point estimate for the weights in every node. Generally, the network using point estimates as weights perform well with large datasets, but they fail to express uncertainty in regions with little or no data, leading to overconfident decisions. In this paper, Bayesian Convolutional Neural Network (BayesCNN) using Variational Inference is proposed, that introduces probability distribution over the weights. Furthermore, the proposed BayesCNN architecture is applied to tasks like Image Classification, Image Super-Resolution and Generative Adversarial Networks. The results are compared to point-estimates based architectures on MNIST, CIFAR-10 and CIFAR-100 datasets for Image CLassification task, on BSD300 dataset for Image Super Resolution task and on CIFAR10 dataset again for Generative Adversarial Network task. BayesCNN is based on Bayes by Backprop which derives a variational approximation to the true posterior. We, therefore, introduce the idea of applying two convolutional operations, one for the mean and one for the variance. Our proposed method not only achieves performances equivalent to frequentist inference in identical architectures but also incorporate a measurement for uncertainties and regularisation. It further eliminates the use of dropout in the model. Moreover, we predict how certain the model prediction is based on the epistemic and aleatoric uncertainties and empirically show how the uncertainty can decrease, allowing the decisions made by the network to become more deterministic as the training accuracy increases. Finally, we propose ways to prune the Bayesian architecture and to make it more computational and time effective.

研究の動機と目的

• CNNにベイズ学習を導入して予測不確実性を表現し、訓練を正則化する。
• Bayes by Backprop に基づくCNN重みに対する効率的な変分推論手法を提案する。
• 平均と分散の2つの畳み込み演算を実行する方法を示し、CNNに局所再パラメータ化を適用する。
• 不確実性推定（エピステミックおよびアレータリアン不確実性）を示し、訓練とともに不確実性が低下する様子を示す。
• 精度を保ちながらパラメータを削減するための剪定戦略（L1正則化）を検討する。）

提案手法

• CNN重の真の事後分布を変分分布 q(w) で近似するために Bayes by Backprop を採用する。
• 重みの不確実性をガウス分布の変分後分布で表現し、平均と分散を2つの逐次畳み込み（平均用と分散用）を用いて学習する。
• CNNに局所再パラメータ化のトリックを適用して重みの代わりに活性化をサンプルし、計算効率を向上させる。
• 変分自由エネルギー（KL発散項と期待対数尤度の和）を導出・最適化してモデルを訓練する。
• L1正則化を用いて必須でない重みを剪定し、剪定後のモデルを微調整して性能を回復させる。
• ベイズ型CNNを分類以外のタスクにも拡張し、画像超解像やGenerative Adversarial Networksを含む。）

実験結果

リサーチクエスチョン

• RQ1 Bayes by Backpropを畳み込みニューラルネットワークに効率的に適用して校正された不確実性推定を得ることができるか。
• RQ2 平均と分散の2つの畳み込みアプローチは、点推定CNNと比べて性能と正則化の観点でどうなるか。
• RQ3 画像関連タスクにおけるエピステミックおよびアレータリアン不確実性へのベイズ型CNNの影響は何か。
• RQ4 不確実性を考慮したCNNを精度を犠牲にせず効果的に剪定できるか、SRやGANタスクへどのように規模拡張されるか。
• RQ5 標準データセット（例：MNIST、CIFAR）に対して、ベイズ型CNNは頻度主義アーキテクチャに比して競争力のある結果を示すか。

主な発見

• 変分推論を用いるベイズ型CNNは、同程度のモデルでは点推定アーキテクチャと同等の性能を達成できる。
• 不確実性はエピステミックとアレータリアンの成分に分解され、訓練精度の向上とともに不確実性が低下し、より決定的な判断につながる。
• 2つの畳み込み演算スキームは、全パラメータ数を倍増させることなく重みの平均と分散の両方を学習できる。
• 局所再パラメータ化のトリックは、畳み込み層で重みの代わりに活性化をサンプルすることで訓練を加速する。
• L1正則化による剪定は、予測性能の最小限の低下または無しでパラメータ数を削減し、モデルの効率を向上させる。
• ベイズフレームワークは、画像分類・画像超解像・GANタスク全体で実証され、非ベイズ系ベースラインと比較される。）