[論文レビュー] Characteristics of Monte Carlo Dropout in Wide Neural Networks

Joachim Sicking, Maram Akila+3 more|arXiv (Cornell University)|Jul 10, 2020

Gaussian Processes and Bayesian Inference参考文献 16被引用数 5

ひとこと要約

この論文は、広いニューラルネットワークにおけるモンテカルロ（MC）ドロップアウトを厳密に分析し、固定重みのもとで、MCドロップアウトが無限幅極限においてガウス過程に近似されることを証明する。有限幅ネットワークにおける前活性化の相関が非ガウス的挙動を引き起こすことが特定され、MCドロップアウトが不確実性推定において理論的限界を示すにもかかわらず、実用的成績が優れていることを説明する。

ABSTRACT

Monte Carlo (MC) dropout is one of the state-of-the-art approaches for uncertainty estimation in neural networks (NNs). It has been interpreted as approximately performing Bayesian inference. Based on previous work on the approximation of Gaussian processes by wide and deep neural networks with random weights, we study the limiting distribution of wide untrained NNs under dropout more rigorously and prove that they as well converge to Gaussian processes for fixed sets of weights and biases. We sketch an argument that this property might also hold for infinitely wide feed-forward networks that are trained with (full-batch) gradient descent. The theory is contrasted by an empirical analysis in which we find correlations and non-Gaussian behaviour for the pre-activations of finite width NNs. We therefore investigate how (strongly) correlated pre-activations can induce non-Gaussian behavior in NNs with strongly correlated weights.

研究の動機と目的

• 固定重みのもとで、広く未学習のニューラルネットワークにおけるMCドロップアウトの理論的挙動を厳密に確立すること。
• 固定重みのもとで、広いネットワークにおけるMCドロップアウトが無限幅極限においてガウス過程に収束するかどうかを調査すること。
• 有限幅ネットワークにおけるMCドロップアウト下での前活性化における非ガウス的挙動の原因を同定すること。
• 前活性化と重みの相関が、ニューラルネットワーク出力の分布的性質に与える影響を検討すること。

提案手法

• 理論的分析により、中心極限定理を用いて、固定重みとMCドロップアウトを有する広い未学習ネットワークにおける前活性化がガウス過程に収束することを示す。
• 証明は、独立同一分布のガウス重みおよびバイアスに依存しており、幅が増加するにつれて層間相関が消滅することを示している。
• 実験的分析により、ドロップアウト下でのランダムに初期化されたおよび学習済みのネットワークにおける前活性化の分布を評価する。
• 前活性化の相関効果を模擬するため、2つの相関ガウス確率変数の積を用いたトロイモデルを検討する。
• 構造化された共分散（要素間で一定の相関）を有する多変量ガウス分布を用いて、相関のある重み行列をモデル化する。
• 相関ガウス積の和の確率密度関数（PDF）の理論的導出により、指数的尾部挙動が明らかになり、非ガウス的出力分布の説明がなされる。

実験結果

リサーチクエスチョン

• RQ1 固定重みのもとで、広く未学習のニューラルネットワークにおけるMCドロップアウトは、無限幅極限においてガウス過程に収束するか？
• RQ2 有限幅ニューラルネットワークにおけるMCドロップアウト下での前活性化における非ガウス的挙動の原因は何か？
• RQ3 前の層からの前活性化の相関は、MCドロップアウトにおける出力分布にどのように影響するか？
• RQ4 学習済みネットワークで観察される非ガウス的挙動は、相関のある前活性化および重み構造によって説明可能か？
• RQ5 ドロップアウトを伴う実用的で有限幅のネットワークにおいて、中心極限定理の理論的仮定がどの程度破綻するか？

主な発見

• 固定重みのもとで、広く未学習のニューラルネットワークにおけるMCドロップアウトは、無限幅極限においてガウス過程に収束する。これは、層間相関が消滅することによって証明された。
• MCドロップアウト下でのランダムに初期化されたネットワークにおける前活性化は、ほぼ正規分布に従う。これは中心極限定理の支持を示す。
• 対照的に、学習済みネットワークにおける前活性化は、非ガウス的挙動を示し、特に重い尾部や指数的尾部を示す。
• 前の層の前活性化同士の相関が、非ガウス的出力分布を引き起こすことが、相関ガウス積のトロイモデルによって実証された。
• 理論的分析により、相関ガウス積の和の確率密度関数（PDF）が指数的尾部を示すことが明らかになり、実験的観察と一致する。
• 本研究は、Osband（2016）が指摘したように、無限データ極限においてMCドロップアウトが集中分布に収束しない理由を、重みと活性化の相関に起因する持続的非ガウス性によって説明する。