[论文解读] Characteristics of Monte Carlo Dropout in Wide Neural Networks

Joachim Sicking, Maram Akila+3 more|arXiv (Cornell University)|Jul 10, 2020

Gaussian Processes and Bayesian Inference参考文献 16被引用 5

一句话总结

本文严格分析了宽深层神经网络中的蒙特卡洛（MC）丢弃，证明在权重固定时，MC丢弃在无限宽度极限下近似为高斯过程。研究识别出有限宽度网络中预激活的相关性导致非高斯行为，解释了尽管MC丢弃在实践中表现成功，但在不确定性估计方面存在理论局限的原因。

ABSTRACT

Monte Carlo (MC) dropout is one of the state-of-the-art approaches for uncertainty estimation in neural networks (NNs). It has been interpreted as approximately performing Bayesian inference. Based on previous work on the approximation of Gaussian processes by wide and deep neural networks with random weights, we study the limiting distribution of wide untrained NNs under dropout more rigorously and prove that they as well converge to Gaussian processes for fixed sets of weights and biases. We sketch an argument that this property might also hold for infinitely wide feed-forward networks that are trained with (full-batch) gradient descent. The theory is contrasted by an empirical analysis in which we find correlations and non-Gaussian behaviour for the pre-activations of finite width NNs. We therefore investigate how (strongly) correlated pre-activations can induce non-Gaussian behavior in NNs with strongly correlated weights.

研究动机与目标

• 严格建立MC丢弃在宽广、未训练的神经网络中的理论行为。
• 研究在权重固定时，宽广网络中的MC丢弃是否收敛至高斯过程。
• 识别有限宽度网络在MC丢弃下预激活中非高斯行为的成因。
• 考察预激活和权重中的相关性如何影响神经网络输出的分布特性。

提出的方法

• 理论分析利用中心极限定理，证明在权重固定、宽度较大的未训练网络中，MC丢弃的预激活收敛至高斯过程。
• 该证明依赖于独立同分布的高斯权重和偏置，表明随着宽度增加，层间相关性趋于消失。
• 实证分析评估了在丢弃下随机初始化和训练后的网络中预激活的分布。
• 通过一个简化模型研究两个相关高斯随机变量的乘积，以模拟相关预激活对输出分布的影响。
• 使用具有结构化协方差（元素间恒定相关性）的多元高斯分布对相关权重矩阵进行建模。
• 对相关高斯乘积之和的概率密度函数（PDF）进行理论推导，揭示其具有指数尾部行为，从而解释输出分布的非高斯性。

实验结果

研究问题

• RQ1 在权重固定的宽广、未训练神经网络中，MC丢弃是否在无限宽度极限下收敛至高斯过程？
• RQ2 有限宽度神经网络在MC丢弃下，预激活中非高斯行为的成因是什么？
• RQ3 前一层预激活中的相关性如何影响MC丢弃下输出的分布？
• RQ4 训练网络中观察到的非高斯行为是否可由相关预激活和权重结构解释？
• RQ5 在具有丢弃的实际有限宽度网络中，中心极限定理的理论假设在多大程度上失效？

主要发现

• 在权重固定、无限宽度极限下，宽广、未训练神经网络中的MC丢弃收敛至高斯过程，其成因是层间相关性的消失。
• 在MC丢弃下，随机初始化网络的预激活近似服从正态分布，支持中心极限定理。
• 相比之下，训练后网络的预激活表现出非高斯行为，特别是具有重尾或指数尾部。
• 前一层预激活之间的相关性会引发非高斯输出分布，这一现象通过相关高斯乘积的简化模型得到验证。
• 理论分析表明，相关高斯乘积之和的概率密度函数具有指数尾部，与实证观察一致。
• 本研究解释了为何MC丢弃在无限数据极限下无法收敛至集中分布，如Osband（2016）所指出的，其根本原因在于权重与激活相关性导致的持续非高斯性。