[论文解读] How Does Batch Normalization Help Optimization?

Shibani Santurkar, Dimitris Tsipras+2 more|arXiv (Cornell University)|May 29, 2018

Domain Adaptation and Few-Shot Learning参考文献 30被引用 229

一句话总结

本文认为 BatchNorm 的有效性来自使优化景观更平滑、梯度更具预测性，而不是主要减少内部协变量偏移；其他归一化方案也观察到类似的平滑作用。

ABSTRACT

Batch Normalization (BatchNorm) is a widely adopted technique that enables faster and more stable training of deep neural networks (DNNs). Despite its pervasiveness, the exact reasons for BatchNorm's effectiveness are still poorly understood. The popular belief is that this effectiveness stems from controlling the change of the layers' input distributions during training to reduce the so-called "internal covariate shift". In this work, we demonstrate that such distributional stability of layer inputs has little to do with the success of BatchNorm. Instead, we uncover a more fundamental impact of BatchNorm on the training process: it makes the optimization landscape significantly smoother. This smoothness induces a more predictive and stable behavior of the gradients, allowing for faster training.

研究动机与目标

• 推动对为什么 BatchNorm 提升训练性能的更深理解，超越内部协变量偏移的叙述。
• 通过实证研究 ICS 与 BatchNorm 性能之间的关系。
• 表征 BatchNorm 对损失景观和平滑梯度可预测性所产生的平滑效应。
• 提供理论分析，展示 BatchNorm 如何影响 Lipschitz 性和梯度平滑性。

提出的方法

• 在标准基准上，使用 CNN 和线性网络比较有无 BatchNorm 的网络。
• 注入故意的分布不稳定性以测试 ICS 的作用。
• 从跨层梯度变化（G 和 G′）的角度定义并度量内部协变量偏移。
• 沿梯度方向分析损失景观和梯度可预测性。
• 从理论上分析单个 BN 层以推导 Lipschitz 和平滑性边界。
• 探索替代归一化方案（ℓp-归一化）以比较平滑效果。

实验结果

研究问题

• RQ1 BatchNorm 的性能是否严格取决于传统所称的减少内部协变量偏移？
• RQ2 BatchNorm 是否主要通过平滑优化景观、提高梯度可预测性来实现？
• RQ3 其他归一化方案是否也会带来类似的平滑和训练收益？
• RQ4 有哪些理论保证可以解释在使用 BatchNorm 时观察到的经验改进？

主要发现

• BatchNorm 网络在训练更稳定、收敛更快方面往往表现更好，即使未降低内部协变量偏移。
• ICS（通过梯度变化定义）在 BatchNorm 网络中可能相似或更高，但它们仍然表现更好。
• BatchNorm 将优化问题重新参数化，使损失和梯度更具 Lipschitz 性，梯度方向更具预测性。
• 平滑效应也出现在其他归一化方案中，而非仅限于 BatchNorm，这表明此效应并非 BN 独有。
• 理论分析表明，在温和条件下，BN 可降低损失梯度的 Lipschitz 常数并提高梯度可预测性。
• BN 可能有助于收敛到更平的极小值，潜在地促进泛化。