[论文解读] Critical initialisation for deep signal propagation in noisy rectifier neural networks

Arnu Pretorius, Elan van Biljon+2 more|arXiv (Cornell University)|Nov 1, 2018

Stochastic Gradient Optimization Techniques被引用 10

一句话总结

本文为噪声激活神经网络中的信号传播提出了一种广义的平均场理论，表明在考虑噪声方差时，加性噪声下临界初始化不可能实现，但乘性噪声（如丢弃）下可实现。该文推导出新的初始化策略以稳定深层信号传播，并通过仿真和真实世界实验（MNIST、CIFAR-10）表明，噪声会因增加输入相关性而降低可训练深度，即使在临界状态下也是如此。

ABSTRACT

Stochastic regularisation is an important weapon in the arsenal of a deep learning practitioner. However, despite recent theoretical advances, our understanding of how noise influences signal propagation in deep neural networks remains limited. By extending recent work based on mean field theory, we develop a new framework for signal propagation in stochastic regularised neural networks. Our noisy signal propagation theory can incorporate several common noise distributions, including additive and multiplicative Gaussian noise as well as dropout. We use this framework to investigate initialisation strategies for noisy ReLU networks. We show that no critical initialisation strategy exists using additive noise, with signal propagation exploding regardless of the selected noise distribution. For multiplicative noise (e.g. dropout), we identify alternative critical initialisation strategies that depend on the second moment of the noise distribution. Simulations and experiments on real-world data confirm that our proposed initialisation is able to stably propagate signals in deep networks, while using an initialisation disregarding noise fails to do so. Furthermore, we analyse correlation dynamics between inputs. Stronger noise regularisation is shown to reduce the depth to which discriminatory information about the inputs to a noisy ReLU network is able to propagate, even when initialised at criticality. We support our theoretical predictions for these trainable depths with simulations, as well as with experiments on MNIST and CIFAR-10

研究动机与目标

• 理解随机正则化（如丢弃、高斯噪声）如何影响深层ReLU网络中的信号传播。
• 确定在各种噪声分布下，临界初始化（即实现稳定信号流动的初始化）是否仍然可行。
• 推导出考虑噪声统计特性的新初始化策略，以在深层网络中维持信号稳定性。
• 分析噪声如何影响可传播 discriminatory 输入信息的深度，即使在临界初始化状态下。

提出的方法

• 将信号传播的平均场理论扩展至包含多种噪声分布，包括加性与乘性高斯噪声以及丢弃。
• 推导出在随机初始化的深层ReLU网络中，带噪声的预激活方差和输入相关性动态的递归方程。
• 提出一种广义的临界初始化条件，该条件依赖于乘性噪声分布的二阶矩。
• 利用该理论预测在噪声导致输入表示趋于完全相关之前，网络可训练的最大深度。
• 通过数值仿真以及在MNIST和CIFAR-10上的实验（改变丢弃率和噪声水平）验证理论预测。
• 分析输入之间的相关性动态随深度的变化，以量化噪声下 discriminatory 信息的损失。

实验结果

研究问题

• RQ1 当应用随机正则化时，能否为深层ReLU网络推导出临界初始化策略？
• RQ2 加性噪声是否阻止了任何可稳定信号传播的临界初始化的存在？
• RQ3 对于乘性噪声，噪声分布的二阶矩如何影响所需权重初始化方差？
• RQ4 在临界初始化的噪声ReLU网络中，关于输入的鉴别性信息可传播到多深？
• RQ5 增加噪声正则化如何影响临界初始化网络的有效可训练深度？

主要发现

• 对于任意零均值的加性噪声，不存在临界初始化，因为无论噪声分布如何，信号传播总是会发散。
• 对于乘性噪声（如丢弃），临界初始化是可能的，且依赖于噪声分布的二阶矩，其条件为 σ²_w = 2/μ₂。
• 理论预测与仿真结果以及在MNIST和CIFAR-10上的真实实验结果高度一致，证实了所推导初始化策略下信号传播的稳定性。
• 即使在临界状态下，增加噪声正则化也会降低输入鉴别性信息可保持的传播深度，原因是不同输入表示之间的相关性持续增长。
• 当丢弃率 p=0.5 时，对应 Xavier 初始化（σ²_w = 1），该结果与经验成功一致，并解释了其在实践中有效的原因。
• 理论预测的最大深度限制（6ξ_c）与验证损失开始下降的点高度吻合，表明在噪声存在下存在一个实际的可训练深度上限。