[論文レビュー] Dropout as a Structured Shrinkage Prior

Eric Nalisnick, José Miguel Hernández-Lobato+1 more|arXiv (Cornell University)|Oct 9, 2018

Seismic and Structural Analysis of Tall Buildings参考文献 60被引用数 7

ひとこと要約

本稿では、正確な再パrameterizationを用いて、ドロップアウトを構造的スリミング事前分布（特にガウススケール混合）としてのベイジアン解釈を提案する。これにより、ドロップアウトのモンテカルロ訓練目的が周辺MAP推定を近似することが明らかになった。主な貢献は、残差ネットワーク向けに考案された新規事前分布、自動的深さ決定（ADD）であり、これはベイジアン推論を用いてネットワークの深さを自動選択可能にし、標準的なドロップアウトを上回り、UCI回帰ベンチマークにおいてディープガウス過程と同等の性能を発揮する。

ABSTRACT

Dropout regularization of deep neural networks has been a mysterious yet effective tool to prevent overfitting. Explanations for its success range from the prevention of "co-adapted" weights to it being a form of cheap Bayesian inference. We propose a novel framework for understanding multiplicative noise in neural networks, considering continuous distributions as well as Bernoulli noise (i.e. dropout). We show that multiplicative noise induces structured shrinkage priors on a network's weights. We derive the equivalence through reparametrization properties of scale mixtures and without invoking any approximations. Given the equivalence, we then show that dropout's Monte Carlo training objective approximates marginal MAP estimation. We leverage these insights to propose a novel shrinkage framework for resnets, terming the prior 'automatic depth determination' as it is the natural analog of automatic relevance determination for network depth. Lastly, we investigate two inference strategies that improve upon the aforementioned MAP approximation in regression benchmarks.

研究の動機と目的

• ドロップアウトおよびニューラルネットワークにおける乗法的ノイズの厳密なベイジアン解釈を提供し、ヒューリスティックな説明を超えること。
• 近似を一切用いずに、ドロップアウトと構造的スリミング事前分布（ガウススケール混合）との正確な同等性を確立すること。
• 残差ネットワーク向けに、ネットワークの深さをベイジアン推論によって自動選択可能な新規事前分布を考案すること。
• 尾部適応型重要度サンプリングや変分EMアルゴリズムを含む、特化したアルゴリズムの提案により、推論の効率性と正確性を向上させること。
• 回帰ベンチマークにおいて、標準的ドロップアウトおよび高容量のベイジアンモデルを凌駕する性能を示すこと。

提案手法

• ドロップアウトをベルヌーイ分布に従うスケーリング要因を持つ乗法的ノイズの特別な場合として表現し、再パラメータライゼーションを用いてガウススケール混合と正確に同等であることを示した。
• 乗法的ノイズが、層間でスケールが共有されるような構造的事前分布を誘導することを導出しており、自動関連性決定（ARD）に類似している。
• 残差ブロックが余分であるかどうかをモデルが学習できる、残差ネットワーク向けの新規事前分布「自動的深さ決定（ADD）」を提案した。
• ドロップアウト目的関数のモンテカルロ推定を改善し、予測不確実性のバイアスを低減するために、尾部適応型重要度サンプリング手法を導入した。
• ARDおよびADD事前分布下での後部確率推定を可能にする変分EMアルゴリズムを構築し、構造的スリミングの効率的学習を実現した。
• UCIベンチマークデータセットを用いた回帰タスクにこのフレームワークを適用し、ドロップアウト、確率的バックプロパゲーション、ディープガウス過程と性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 ドロップアウトは深層ニューラルネットワークにおけるベイジアン事前分布とどのように関係しており、その正確な分布的意味は何か？
• RQ2 再パラメータライゼーションを用いることで、ニューラルネットワークにおける乗法的ノイズが構造的スリミング事前分布を誘導するものと解釈できるか？
• RQ3 ドロップアウトのベイジアン解釈を残差ネットワークに拡張し、自動的深さ選択を可能にすることができるか？
• RQ4 尾部適応型重要度サンプリングや変分EMといった代替推論戦略は、標準的モンテカルロドロップアウトに比べてどのように改善をもたらすか？
• RQ5 提案された自動的深さ決定事前分布は、標準的ドロップアウトおよび他のベイジアンモデルを上回り、回帰ベンチマークで優れた性能を示すか？

主な発見

• 尾部適応型重要度サンプリング手法は、7つのUCI回帰データセットのうち5つで最小の平均二乗誤差（RMSE）を達成し、予測精度の向上を示した。
• ARD-ADD事前分布を用いた残差ネットワークは、全テストモデルの中で平均順位で最高を記録し、7つのデータセットのうち3つで優れた性能を発揮した。
• ARD-ADD事前分布に対する変分EMアルゴリズムにより、構造的スリミングを効果的に実現するベイジアン推論が可能となり、行方向およびグローバルな重み削減のバランスが取れた。
• 提案されたフレームワークは、ドロップアウトの生成モデルと推論を分離でき、従来の変分的解釈とは異なり、MCMCや他の正確な推論手法との組み合わせが可能になった。
• ARD-ADDを備えた残差ネットワークは、期待値伝播を用いて訓練された高容量のベイジアンモデルであるディープガウス過程と同等の性能を示した。
• 学習された重みのヒートマップは、ARD-ADDが行構造的スリミングとグローバルスリミングの両方を誘導し、重要な残差ブロックを効果的に保持していることを確認した。