[论文解读] Batch Normalization Provably Avoids Rank Collapse for Randomly Initialised Deep Networks

Hadi Daneshmand, Jonas Köhler+3 more|arXiv (Cornell University)|Mar 3, 2020

Sparse and Compressive Sensing Techniques参考文献 14被引用 9

一句话总结

本文证明了批归一化（BN）通过稳定隐藏层激活的谱特性，防止了随机初始化的深层神经网络中的秩坍塌。利用马尔可夫链理论，推导出深层线性网络中秩的下限，并通过实验验证了BN在ReLU网络中保持高秩，从而实现了极深架构的稳定训练。

ABSTRACT

Randomly initialized neural networks are known to become harder to train with increasing depth, unless architectural enhancements like residual connections and batch normalization are used. We here investigate this phenomenon by revisiting the connection between random initialization in deep networks and spectral instabilities in products of random matrices. Given the rich literature on random matrices, it is not surprising to find that the rank of the intermediate representations in unnormalized networks collapses quickly with depth. In this work we highlight the fact that batch normalization is an effective strategy to avoid rank collapse for both linear and ReLU networks. Leveraging tools from Markov chain theory, we derive a meaningful lower rank bound in deep linear networks. Empirically, we also demonstrate that this rank robustness generalizes to ReLU nets. Finally, we conduct an extensive set of experiments on real-world data sets, which confirm that rank stability is indeed a crucial condition for training modern-day deep neural architectures.

研究动机与目标

• 解释为何批归一化能在随机初始化网络存在谱不稳定性的情况下，仍能实现极深神经网络的训练。
• 研究秩坍塌在深层未归一化网络训练失败中的作用。
• 通过分析隐藏层激活的秩，为BN的有效性建立理论基础。
• 证明秩稳定性是实现深层网络成功优化的关键因素。

提出的方法

• 分析随机初始化下深层线性网络和ReLU网络中隐藏层激活的谱特性。
• 应用马尔可夫链理论工具，推导出使用批归一化的深层线性网络中最终层秩的下限。
• 通过实证评估在不同深度下的线性网络和ReLU网络中隐藏表征的秩。
• 在Fashion-MNIST和CIFAR-10等真实数据集上，比较批归一化与未归一化网络的训练动态及秩演化过程。
• 利用随机梯度分析表明，秩坍塌会导致梯度对齐，阻碍优化过程。
• 通过消融实验（包括无均值减除的BN和随机数据实验）验证理论发现。

实验结果

研究问题

• RQ1 为何随机初始化的深层网络在达到某一深度后无法继续训练？
• RQ2 批归一化如何防止深层网络中的秩坍塌？
• RQ3 使用批归一化的深层线性网络中，隐藏表征秩的理论下限是什么？
• RQ4 BN下的秩稳定性是否可从线性网络推广到ReLU网络？
• RQ5 秩稳定性在多大程度上是深层网络成功训练的必要条件？

主要发现

• 批归一化可防止深层线性网络中的秩坍塌，即使在极端深度下也能维持非退化的秩。
• 通过马尔可夫链分析推导出使用BN的深层线性网络中秩的理论下限，为其实现稳定性提供了形式化依据。
• 实证结果表明，BN在ReLU网络中可保持高秩，而未归一化网络在10层以上即出现快速秩坍塌。
• 秩坍塌与训练失败密切相关：在Fashion-MNIST上，未归一化网络在深度超过10层后即无法学习，而BN网络则保持高准确率。
• 秩坍塌网络中的随机梯度沿单一方向对齐，导致优化无效，即使学习率较大亦然。
• 在CIFAR-10上使用VGG19和ResNet-50的实验表明，无均值减除的BN无法防止秩坍塌，验证了完整BN操作的必要性。