[論文レビュー] Uncertainty in Neural Networks: Bayesian Ensembling.

Tim Pearce, Mohamed Zaki+2 more|arXiv (Cornell University)|Oct 12, 2018

Gaussian Processes and Bayesian Inference参考文献 28被引用数 64

ひとこと要約

本論文は、事前分布から抽出された値に向けてモデルパラメータを正則化することで、ベイジアンの不確実性評価を達成する修正されたニューラルネットワークアンサンブル手法を提案する。このアプローチは、従来のベイジアンニューラルネットワークの代替手段としてスケーラブルで実用的なものであり、性能を損なわずに良好にキャリブレートされた不確実性推定を提供する。

ABSTRACT

Understanding the uncertainty of a neural network's (NN) predictions is essential for many applications. The Bayesian framework provides a principled approach to this, however applying it to NNs is challenging due to the large number of parameters and data. Ensembling NNs provides a practical and scalable method for uncertainty quantification. Its drawback is that its justification is heuristic rather than Bayesian. In this work we propose one modification to the usual ensembling process, that does result in Bayesian behaviour: regularising parameters about values drawn from a prior distribution. Hence, we present an easily implementable, scalable technique for performing approximate Bayesian inference in NNs.

研究の動機と目的

• 実世界の応用における信頼性の高い意思決定に不可欠な、深層ニューラルネットワークにおける不確実性評価の課題に取り組むこと。
• ニューラルネットワークにおけるヒューリスティックなアンサンブルと原理的ベイジアン推論の間のギャップを埋めること。
• 大規模ニューラルネットワークにおけるベイジアン推論を近似する、スケーラブルで容易に実装可能な手法を開発すること。
• ベイジアンフレームワーク内でアンサンブルを正当化する、正則化に基づくアンサンブル技術を提供すること。

提案手法

• 標準的なアンサンブルを、事前分布から抽出された値に向けて各モデルのパラメータを引き寄せる正則化項を導入することで修正する。
• 各モデルは、独立に抽出された事前サンプルに近づくよう正則化された重み減衰損失関数で訓練される。
• 正則化は各モデルごとに独立して適用され、各ネットワークが明確に異なるが事前知識に基づいた表現を学習することを保証する。
• 最終的な予測は、アンサンブル内の予測を平均することで得られ、不確実性は予測の分散から推定される。
• このアプローチはスケーラブルであり、標準的なディープラーニングフレームワークと互換性がある。アーキテクチャの変更は最小限にとどまる。
• この方法により、最適化プロセスに事前知識を組み込むことで、ヒューリスティックなアンサンブルをベイジアン近似に効果的に変換する。

実験結果

リサーチクエスチョン

• RQ1 訓練プロセスへの簡単な修正によって、アンサンブルをベイジアンフレームワーク内で形式的に正当化できるか？
• RQ2 ニューラルネットワークのパラメータを事前サンプルに正則化することで、予測精度を損なわずに不確実性のキャリブレーションが向上するか？
• RQ3 この手法は、最小限の計算コストで大規模ニューラルネットワークにおいて良好にキャリブレートされた不確実性推定を達成できるか？
• RQ4 不確実性の質とスケーラビリティの観点から、標準的なアンサンブルおよび完全なベイジアン推論と比較して、本手法はどのように異なるか？

主な発見

• 本手法は、パラメータを事前サンプルに向けて明示的に正則化することで、アンサンブルにおけるベイジアン的挙動を達成し、アンサンブル予測の原理的正当化を提供する。
• このアプローチは、真の予測誤差を信頼性高く反映する予測分散を持つ、良好にキャリブレートされた不確実性推定をもたらす。
• この手法はスケーラブルで実用的であり、標準的なトレーニングパイプラインへのわずかな変更で実現可能である。
• 実験結果から、特に分布外の設定において、標準的なアンサンブルよりも信頼性の高い不確実性推定が得られることが示された。