[論文レビュー] Unifying the Dropout Family Through Structured Shrinkage Priors

Eric Nalisnick, Padhraic Smyth|arXiv (Cornell University)|Jan 1, 2018

Adversarial Robustness in Machine Learning被引用数 1

ひとこと要約

本稿では、正確な再パrameterizationを通じて、構造的スリミング事前分布を介してドロップアウトおよび他の乗法的ノイズ手法を統一する。ドロップアウトの訓練目的が周辺MAP推定を近似することを示す。ResNetにおける「自動的深さ決定」を導入し、より良い推論戦略により回帰ベンチマークでの汎化性能を向上させる。

ABSTRACT

Dropout regularization of deep neural networks has been a mysterious yet effective tool to prevent overfitting. Explanations for its success range from the prevention of co-adapted weights to it being a form of cheap Bayesian inference. We propose a novel framework for understanding multiplicative noise in neural networks, considering continuous distributions as well as Bernoulli noise (i.e. dropout). We show that multiplicative noise induces structured shrinkage priors on a network's weights. We derive the equivalence through reparametrization properties of scale mixtures and without invoking any approximations. Given the equivalence, we then show that dropout's Monte Carlo training objective approximates marginal MAP estimation. We leverage these insights to propose a novel shrinkage framework for resnets, terming the prior 'automatic depth determination' as it is the natural analog of automatic relevance determination for network depth. Lastly, we investigate two inference strategies that improve upon the aforementioned MAP approximation in regression benchmarks.

研究の動機と目的

• 乗法的ノイズ（ドロップアウトを含む）とニューラルネットワークにおける構造的スリミング事前分布を、原理的かつ正確な理論枠組みで結びつけること。
• 近似を一切用いずに、ドロップアウトのモンテカルロ訓練目的と周辺MAP推定との等価性を確立すること。
• 残差ネットワークに適した新しい事前分布を提案し、自動的深さ決定を可能にすること。これは自動関連性決定（ARD）に類似する。
• 標準のドロップアウト訓練で用いられるMAP近似を超える、性能向上に寄与する推論戦略を調査すること。

提案手法

• スケールミックスの再パラメータライゼーションを用いて、乗法的ノイズがネットワーク重みに構造的スリミング事前分布を誘発することを示す。
• 連続的およびベルヌーイ分布の性質を用いて、正確な等価性を導出し、ドロップアウトの訓練目的と周辺MAP推定との一致を裏付ける。
• 全残差ブロックのプルーニングを促進する構造的事前分布を提案し、ResNetにおける自動的深さ決定を可能にする。
• 標準のMAPを超える2つの推論戦略を導入し、回帰タスクにおける汎化性能の向上を図る。
• 変分近似を回避するため、正確な再パラメータライゼーションを採用し、理論的厳密性を保証する。
• 回帰ベンチマークを用いてフレームワークを検証し、標準ドロップアウトおよびMAPに基づく推論との性能向上を評価する。

実験結果

リサーチクエスチョン

• RQ1 乗法的ノイズが、正確なスケールミックスの再パラメータライゼーションを通じて、どのように構造的スリミング事前分布と正式に結びつけられるか？
• RQ2 ドロップアウトの訓練目的が、ベイジアン枠組みにおいて周辺MAP推定をどの程度正確に近似するか？
• RQ3 残差ネットワークにおける自動的深さ決定を可能にする構造的事前分布を設計できるか？
• RQ4 MAP推定を超える推論戦略は、回帰ベンチマークで性能向上をもたらすか？
• RQ5 標準ドロップアウトを構造的スリミング事前分布に置き換えた場合の理論的および実証的影響は何か？

主な発見

• ベルヌーイドロップアウトを含む乗法的ノイズは、スケールミックスの正確な再パラメータライゼーションを通じて、ネットワーク重みに構造的スリミング事前分布を誘発する。
• 導出された事前分布枠組み下で、ドロップアウトのモンテカルロ訓練目的は数学的に周辺MAP推定と等価である。
• 提案された構造的事前分布により、ResNetにおける全残差ブロックのプルーニングを促進し、自動的深さ決定が可能になる。
• 新しい推論戦略は、回帰ベンチマークにおいて標準のMAP近似を上回り、より優れた汎化性能を示す。
• 本フレームワークは、スリミング事前分布を通じてドロップアウトおよび他の乗法的ノイズ手法を理論的に統一する。
• 実証的結果から、提案手法が回帰タスクにおいて標準ドロップアウトおよびベースラインのMAP推論を上回る性能を達成することが確認された。