[論文レビュー] Dropout as a Bayesian Approximation: Appendix

Yarin Gal, Zoubin Ghahramani|arXiv (Cornell University)|Jun 6, 2015

Gaussian Processes and Bayesian Inference参考文献 33被引用数 54

ひとこと要約

この付録では、重み層の各々の前に関数ドロップアウトを適用する深層ニューラルネットワークが、深層ガウス過程の変分ベイズ近似と数学的に同等であることを確立しており、深層学習における根拠ある不確実性推定を可能にする。主な貢献は、ドロップアウトを近似ベイズ推論としてフレームするものであり、アーキテクチャの変更なしにモンテカルロドロップアウトによる不確実性評価を可能にする。

ABSTRACT

We show that a neural network with arbitrary depth and non-linearities, with dropout applied before every weight layer, is mathematically equivalent to an approximation to a well known Bayesian model. This interpretation might offer an explanation to some of dropout's key properties, such as its robustness to over-fitting. Our interpretation allows us to reason about uncertainty in deep learning, and allows the introduction of the Bayesian machinery into existing deep learning frameworks in a principled way. This document is an appendix for the main paper "Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning" by Gal and Ghahramani, 2015.

研究の動機と目的

• ドロップアウトを深層ニューラルネットワークにおけるベイズ的近似として解釈する理論的基盤を提供すること。
• ドロップアウトの過学習に対する頑健性を、近似ベイズ推論との同等性を通じて説明すること。
• モンテカルロドロップアウトを用いて、深層学習モデルにおける不確実性推定を可能にすること。
• ベイズ的原則に基づいた、ドロップアウトの原理的拡張を導出することにより、ドロップアウトを一般化すること。
• 実用的かつスケーラブルな方法で、既存の深層学習フレームワークにベイズ的不確実性を統合することを支援すること。

提案手法

• 深層ニューラルネットワークにドロップアウトを適用した場合と、深層ガウス過程モデルの変分近似との間の同等性を導出する。
• 変分推論を用いて、ドロップアウトが深層ガウス過程の真の事後分布と近似事後分布との間のカルバック・ライブラー発散を最小化することを示す。
• ドロップアウトマスクのモンテカルロサンプリングを適用して予測不確実性を推定し、順方向伝搬のアンサンブルをベイズ的近似として扱う。
• ドロップアウトを重み層のすべての前で適用すること（最後の層でのみ適用するのではなく）により、すべてのパラメータに対する完全なベイズ的取り扱いが可能になることを示す。
• 不確実性推定の向上を目的として、非減少分散やガウス混合事前分布といった一般化を提案する。
• この手法が、畳み込みネットワークや再帰的ネットワークを含む任意のネットワークアーキテクチャに、原理的なベイズ的解釈に基づいて適用可能であることを確立する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークにおけるドロップアウトを、形式的にベイズ的近似として解釈する方法は何か？
• RQ2 ドロップアウトが過学習を効果的に防ぐ理由は何か？これはベイズ的原則によって説明可能か？
• RQ3 モンテカルロドロップアウトは、実用的かつ理論的に根拠のある方法で、モデルの不確実性を推定するために使用可能か？
• RQ4 すべての重み層の前でドロップアウトを適用するという点で、最後の層でのみ適用する場合と比較して、どのような意味を持つのか？
• RQ5 標準的な実装を越えて、不確実性推定を向上させるためにドロップアウトをどのように一般化できるか？

主な発見

• 重み層のすべての前でドロップアウトを適用する深層ニューラルネットワークは、数学的にベイズニューラルネットワークにおける変分推論と同等であり、深層ガウス過程を近似する。
• この手法により、モンテカルロドロップアウトを用いて予測不確実性を根拠ある方法で推定でき、予測の信頼性評価が可能になる。
• すべての層の前でドロップアウトを適用することで、パラメータの過学習を回避し、ネットワークのすべての重みに対する完全なベイズ的取り扱いが可能になる。
• 実験的結果から、すべての層の前でドロップアウトを適用するモンテカルロドロップアウトは、特に複雑なアーキテクチャにおいて、標準的なドロップアウトを上回ることが示された。
• このフレームワークにより、非減少分散や混合事前分布を用いるといった、原理的な拡張が可能となり、不確実性評価の向上が図れる。
• この解釈により、ドロップアウトがパラメータを統合することで過学習を軽減する成功が、ベイズ周辺化に類似したメカニズムによって説明できる。