[論文レビュー] Bayesian Convolutional Neural Networks with Bernoulli Approximate Variational Inference

Yarin Gal, Zoubin Ghahramani|arXiv (Cornell University)|Jun 6, 2015

Gaussian Processes and Bayesian Inference参考文献 28被引用数 614

ひとこと要約

本稿では、CNNのカーネルに確率的分布を置くためにベルヌーイ変分推論を用いる、計算的に効率的なベイジアン畳み込みニューラルネットワーク（CNN）を提案する。これにより、小規模なデータセットにおける過学習に対する耐性が向上し、不確実性推定が可能になる。ドロップアウト訓練を近似的なベイジアン推論として再解釈することで、追加パラメータなしにモンテカルロドロップアウト推論が可能となり、CIFAR-10で最先端の性能を達成し、一般化性能が向上し、過学習が軽減される。

ABSTRACT

Convolutional neural networks (CNNs) work well on large datasets. But labelled data is hard to collect, and in some applications larger amounts of data are not available. The problem then is how to use CNNs with small data -- as CNNs overfit quickly. We present an efficient Bayesian CNN, offering better robustness to over-fitting on small data than traditional approaches. This is by placing a probability distribution over the CNN's kernels. We approximate our model's intractable posterior with Bernoulli variational distributions, requiring no additional model parameters. On the theoretical side, we cast dropout network training as approximate inference in Bayesian neural networks. This allows us to implement our model using existing tools in deep learning with no increase in time complexity, while highlighting a negative result in the field. We show a considerable improvement in classification accuracy compared to standard techniques and improve on published state-of-the-art results for CIFAR-10.

研究の動機と目的

• 限られたラベル付きデータでの学習において、小規模なデータセットでCNNに過学習が生じる問題に対処すること。
• モデルの複雑さを増さずに不確実性推定とより良い一般化性能を提供するベイジアンCNNの開発。
• ドロップアウトを畳み込み層に適用する際の理論的裏付けを提供すること。これは、実際の応用では性能の低下が懸念されるため、しばしば避ける傾向にある。
• モンテカルロドロップアウトが、ベイジアン推論の有効な近似としてCNNで使用可能であることを示すこと。特に、テスト時の精度向上が見込まれる。

提案手法

• CNNカーネル重みの事後分布の近似としてベルヌーイ分布を用い、追加パラメータが不要である。
• 標準的なドロップアウト訓練を、ベイジアンニューラルネットワークにおける近似的なベイジアン推論として再解釈する。具体的には、ベルヌーイ分布を用いた変分推論を採用する。
• テスト時に複数回の順方向伝搬を実行し、ドロップアウトを有効にした状態で平均化することで、モンテカルロドロップアウト推論を実装する。
• 訓練時に各畳み込み層の後にドロップアウトを配置することで、標準的なディープラーニングツールを用いてベイジアンCNNを実装する。
• ドロップアウトと変分推論の関係を導出し、ドロップアウトがカーネル重みの周辺化を近似していることを示す。
• 既存のディープラーニングフレームワークを用いて学習を実行し、学習時間や計算オーバーヘッドに変化がない。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的なドロップアウトは、CNNの畳み込み層の後に適用された場合、性能向上をもたらさないのか？
• RQ2 ドロップアウトをベイジアンニューラルネットワークにおける近似的なベイジアン推論として形式的に解釈できるか？
• RQ3 モンテカルロドロップアウトは、特に畳み込み層の後に適用された場合に、CNNにおけるベイジアン推論の統計的に妥当な近似となるか？
• RQ4 ベルヌーイ変分推論を用いたベイジアンCNNは、標準CNNと比較して、小規模なデータセットにおける一般化性能と不確実性推定を向上させられるか？
• RQ5 テスト時推論における安定した性能向上を得るために必要なモンテカルロサンプルの最適数は何か？

主な発見

• 提案されたモンテカルロドロップアウトを用いたベイジアンCNNは、拡張されたCIFAR-10データセットで7.51のテスト誤差を達成し、標準的手法と比較して顕著な改善を示した。
• 20回の順方向伝搬で、1標準偏差以上もテスト誤差が低減され、100サンプル程度で収束が確認された。
• NIN、DSN、拡張済みDSNという複数のアーキテクチャで性能向上が確認され、特に拡張済みDSNモデルで最大の向上が得られた。
• このアプローチは、畳み込み層における標準的ドロップアウトの失敗に対する数学的に根拠のある解決策を提供し、分野内で知られている負の結果を解消した。
• 変分事後分布に追加パラメータは不要であり、学習時間は標準モデルと同一であり、テスト時のコストは平均化に起因してわずかに増加するにとどまる。
• ImageNetでは性能向上が得られなかったが、これは大規模データセットがすでに十分な正則化を提供しているためであり、このようなデータの小規模なサブセットでは有益である可能性がある。