[论文解读] Invariance of Weight Distributions in Rectified MLPs

Russell Tsuchida, Farbod Roosta-Khorasani+1 more|arXiv (Cornell University)|Nov 24, 2017

Neural Networks and Applications参考文献 39被引用 9

一句话总结

本文证明了深度 ReLU 和 Leaky ReLU 多层感知机（MLP）的等价核在旋转对称权重分布下保持不变，推广了以往仅限于高斯分布的结果。研究证明，对于均值为零、三阶绝对矩有限的权重分布，核渐近收敛至高斯核，解释了深度网络训练困难的原因，并为最优权重初始化策略提供了理论依据。

ABSTRACT

An interesting approach to analyzing neural networks that has received renewed attention is to examine the equivalent kernel of the neural network. This is based on the fact that a fully connected feedforward network with one hidden layer, a certain weight distribution, an activation function, and an infinite number of neurons can be viewed as a mapping into a Hilbert space. We derive the equivalent kernels of MLPs with ReLU or Leaky ReLU activations for all rotationally-invariant weight distributions, generalizing a previous result that required Gaussian weight distributions. Additionally, the Central Limit Theorem is used to show that for certain activation functions, kernels corresponding to layers with weight distributions having $0$ mean and finite absolute third moment are asymptotically universal, and are well approximated by the kernel corresponding to layers with spherical Gaussian weights. In deep networks, as depth increases the equivalent kernel approaches a pathological fixed point, which can be used to argue why training randomly initialized networks can be difficult. Our results also have implications for weight initialization.

研究动机与目标

• 将先前仅限于高斯权重分布的神经网络等价核研究推广至所有旋转对称分布。
• 分析权重初始化如何影响深度 ReLU 和 Leaky ReLU 网络中的等价核。
• 通过研究深度增加时核的渐近行为，解释深度网络训练过程中出现的病态行为。
• 为保持非高斯权重下深层网络梯度稳定性的权重初始化方案提供理论依据。

提出的方法

• 通过在权重空间上的积分公式，推导具有旋转对称权重分布的一层 ReLU 或 Leaky ReLU MLP 的等价核。
• 应用中心极限定理，证明对于均值为零、三阶绝对矩有限的权重分布，核渐近收敛至球状高斯权重的核。
• 利用连续映射定理和一致可积性，证明在核推导中交换极限与期望的合理性。
• 通过证明增加深度会使等价核趋近于一个病态不动点，将分析扩展至深层网络。
• 通过核行为分析前向传播中的信息损失，为梯度破碎问题提供了互补视角。
• 证明核在旋转对称权重分布下保持不变，推广了此前仅限于高斯权重的结果。

实验结果

研究问题

• RQ1 ReLU 或 Leaky ReLU MLP 的等价核是否在一般旋转对称权重分布下保持不变，而不仅限于高斯分布？
• RQ2 随着深度增加，深层网络的核行为如何变化？是否收敛至一个不动点？
• RQ3 能否用高斯权重网络的核渐近逼近非高斯权重网络的核？
• RQ4 核不变性对具有 ReLU 激活函数的深层网络权重初始化有何影响？
• RQ5 核行为与深层网络中的梯度消失或梯度爆炸问题有何关联？

主要发现

• ReLU 或 Leaky ReLU MLP 的等价核在旋转对称权重分布下保持不变，推广了此前仅限于高斯权重的结果。
• 对于均值为零、三阶绝对矩有限的权重分布，核渐近收敛至对应球状高斯权重的核。
• 在深层网络中，随着深度增加，等价核趋近于一个病态不动点，解释了随机初始化深层网络训练困难的原因。
• 核推导允许对前向传播中信息损失进行定量分析，为梯度破碎问题框架提供了补充。
• 研究结果为保持非高斯权重分布下深层 ReLU 网络梯度稳定性的权重初始化方案提供了理论依据。
• 在较弱矩条件下的核收敛至普遍形式，表明在宽且深的 ReLU 网络中，基于核的泛化具有鲁棒性。