[論文レビュー] Variational Inference to Measure Model Uncertainty in Deep Neural Networks

Konstantin Posch, Jan Steinbrener+1 more|arXiv (Cornell University)|Feb 26, 2019

Gaussian Processes and Bayesian Inference参考文献 21被引用数 12

ひとこと要約

この論文は、深層ニューラルネットワークにおけるモデルの不確実性を、各層のパラメータ分散を平均重みの二乗に比例させるように学習することで、最小限の追加パラメータでベイジアン・ディープラーニングを可能にする変分推論アプローチを提案している。この手法により、MNISTにおいて標準的なネットワークと比較してテスト誤差が15%低減され、信頼性の高い予測信用区間を提供し、明確に間違った予測を特定できる。

ABSTRACT

We present a novel approach for training deep neural networks in a Bayesian way. Classical, i.e. non-Bayesian, deep learning has two major drawbacks both originating from the fact that network parameters are considered to be deterministic. First, model uncertainty cannot be measured thus limiting the use of deep learning in many fields of application and second, training of deep neural networks is often hampered by overfitting. The proposed approach uses variational inference to approximate the intractable a posteriori distribution on basis of a normal prior. The variational density is designed in such a way that the a posteriori uncertainty of the network parameters is represented per network layer and depending on the estimated parameter expectation values. This way, only a few additional parameters need to be optimized compared to a non-Bayesian network. We apply this Bayesian approach to train and test the LeNet architecture on the MNIST dataset. Compared to classical deep learning, the test error is reduced by 15%. In addition, the trained model contains information about the parameter uncertainty in each layer. We show that this information can be used to calculate credible intervals for the prediction and to optimize the network architecture for a given training data set.

研究の動機と目的

• 古典的なディープラーニングではパラメータを決定論的値として扱うが、そのような状況におけるモデル不確実性の推定が不足しているという問題に取り組む。
• 小規模なトレーニングデータセットにおいて、ベイジアンフレームワークを導入することで、深層ネットワークの過学習を軽減する。
• 顕著な計算コストの増加なしに、予測の信用区間を用いて実用的な不確実性の定量化を可能にする。
• 層ごとのパラメータ不確実性を活用して、データ駆動型のネットワークアーキテクチャ最適化を支援する。
• 標準的なトレーニングに比べて僅かに追加パラメータを必要とするスケーラブルなベイジアン・ディープラーニングアプローチを提供する。

提案手法

• この手法は、ネットワーク重みの事後分布を計算できないため、正規事前分布を用いて変分推論で近似する。
• 変分事後分布は、重みおよびバイアスの期待値の二乗に比例する層固有の分散でパrameter化される。
• 各層ごとに1つのスケーリング要因を用いて、重みおよびバイアス分布の分散を制御し、追加パラメータを最小限に抑える。
• 推論時には、サンプリングされた重みを用いて複数回の順方向伝搬を実行し、予測不確実性を推定し、95%信用区間を構築する。
• モデルは、確率的勾配降下法を用いてエンドツーエンドに訓練され、ネットワーク重みと層固有の分散スケーリング要因の両方を最適化する。
• 本手法は、MNIST画像分類のためのLeNetアーキテクチャを対象として評価され、ベイジアンと非ベイジアンバージョンの比較がなされている。

実験結果

リサーチクエスチョン

• RQ1 最小限の計算コストで、モデル不確実性と予測不確実性の両方を定量化できるベイジアン・ディープラーニングアプローチを設計できるか？
• RQ2 提案された層ごとの分散パrameterizationは、小データ環境下での一般化性能および過学習にどのような影響を与えるか？
• RQ3 不確実性推定は、どれほど正確に「明確に間違った予測」を特定できるのか？また、標準的なネットワークの信頼度スコアと比較してどうなるか？
• RQ4 不確実性情報は、ネットワークアーキテクチャ設計を支援したり、モデルのロバストネスを向上させたりするために利用できるか？
• RQ5 ベイジアンモデルから導かれる信用区間は、テストデータにおける実際の予測信頼性と比較して、どの程度整合性を示すか？

主な発見

• ベイジアンモデルは、MNISTデータセットにおいて、標準的な非ベイジアンLeNetと比較して15%のテスト誤差低減を達成した。
• ネットワークは、非常に自信を持っていながらも間違った14枚の画像を特定できた。これは、決定論的予測が過信に陥るリスクを浮き彫りにした。
• 誤分類された画像の94%において、ネットワークは不確実であった（95%信用区間の外に位置した）。これは、不確実性推定が信頼できない予測を特定するのに有効であることを示している。
• 複数回の順方向伝搬をサンプリングされた重みで実行することで、解釈可能な信用区間を効果的に生成できた。
• 過学習に対するロバストネスが向上し、特にデータが少ない環境下で顕著に効果を発揮した。
• 訓練および推論コストの著しい増加なしに、実用的な不確実性の定量化が可能になった。