[论文解读] Beyond BatchNorm: Towards a Unified Understanding of Normalization in Deep Learning

Ekdeep Singh Lubana, Robert P. Dick+1 more|arXiv (Cornell University)|Jun 10, 2021

Domain Adaptation and Few-Shot Learning被引用 14

一句话总结

本文将批归一化（BatchNorm）已知的特性——如稳定激活方差和实现信息量丰富的前向传播——扩展到一系列现代归一化层（例如组归一化、实例归一化、层归一化）。它揭示了一个统一的框架，解释了为何某些归一化方法成功或失败，其核心在于激活稳定性、梯度动态和激活相似性；并识别出组归一化中组大小所决定的训练稳定性与速度之间的关键权衡。

ABSTRACT

Inspired by BatchNorm, there has been an explosion of normalization layers in deep learning. Recent works have identified a multitude of beneficial properties in BatchNorm to explain its success. However, given the pursuit of alternative normalization layers, these properties need to be generalized so that any given layer's success/failure can be accurately predicted. In this work, we take a first step towards this goal by extending known properties of BatchNorm in randomly initialized deep neural networks (DNNs) to several recently proposed normalization layers. Our primary findings follow: (i) similar to BatchNorm, activations-based normalization layers can prevent exponential growth of activations in ResNets, but parametric techniques require explicit remedies; (ii) use of GroupNorm can ensure an informative forward propagation, with different samples being assigned dissimilar activations, but increasing group size results in increasingly indistinguishable activations for different samples, explaining slow convergence speed in models with LayerNorm; and (iii) small group sizes result in large gradient norm in earlier layers, hence explaining training instability issues in Instance Normalization and illustrating a speed-stability tradeoff in GroupNorm. Overall, our analysis reveals a unified set of mechanisms that underpin the success of normalization methods in deep learning, providing us with a compass to systematically explore the vast design space of DNN normalization layers.

研究动机与目标

• 将批归一化已知的有益特性（如防止激活爆炸、实现信息量丰富的前向传播）推广至批归一化以外的更广泛归一化层类别。
• 识别出可系统性预测不同归一化技术在各种深度神经网络架构和训练设置下成功或失败的设计原则。
• 解释为何某些归一化层（如组归一化）表现优异，而其他层（如实例归一化、层归一化）却存在不稳定或收敛缓慢的问题。
• 为基于特定应用约束（如小批量大小、模型深度、数据分布变化）选择归一化层提供理论指导。

提出的方法

• 将批归一化在初始化阶段的行为理论分析扩展至多种归一化技术，涵盖基于激活的（如批归一化、组归一化）和参数化的（如权重归一化）方法。
• 通过分析残差网络中激活的方差，表明仅基于激活的归一化器可防止方差指数级增长，而参数化方法则需依赖架构改进。
• 通过最深层表示矩阵的秩来量化前向传播的信息量，表明组归一化的信息量按 Ω(√(width/group size)) 的速率增长。
• 通过指数拟合层间梯度范数来衡量训练稳定性，通过初始化时倒数第二层激活的余弦相似度来衡量训练速度。
• 在 CIFAR-100 上通过改变网络深度、批量大小和学习率，使用多个随机种子，对理论预测进行实证验证。
• 引入梯度爆炸（稳定性）与激活相似性（优化速度）之间的权衡分析，表明组归一化在中等组大小时性能最优。

实验结果

研究问题

• RQ1 在深层残差网络中，除批归一化外，不同归一化层在前向传播中稳定激活方差的表现如何？
• RQ2 一种归一化器生成不同输入间差异激活的能力，在多大程度上可预测优化速度？
• RQ3 为何实例归一化和层归一化表现出训练不稳定或收敛缓慢？这与梯度动态有何关联？
• RQ4 组归一化中的组大小起什么作用？它如何调和训练稳定性与优化速度之间的权衡？
• RQ5 是否存在一个统一的理论框架，能够解释不同深度神经网络架构和训练条件下各类归一化层的成功与失败模式？

主要发现

• 基于激活的归一化层（如批归一化、组归一化）可防止深层残差网络中激活方差的指数级增长，而参数化方法（如权重归一化）则不能，除非引入架构改进（如 SkipInit）。
• 组归一化通过在最深层保持表示的秩，实现信息量丰富的前向传播，其秩按 Ω(√(width/group size)) 的速率增长，秩越高表示信息传播越充分。
• 随着组归一化中组大小的增加，不同输入的激活变得越来越相似，这与收敛速度变慢相关，从而解释了层归一化在深层网络中表现不佳的原因。
• 组归一化中过小的组大小会导致早期层出现极大的梯度范数，引发训练不稳定，尤其在深层网络或小批量设置下，体现了速度与稳定性的权衡。
• 组归一化的最优组大小需在梯度爆炸（稳定性）与激活相似性（速度）之间取得平衡，且测试准确率峰值出现在这两个权衡的交点处。
• 实证结果证实，所提出的理论框架能准确预测多种架构和设置下的训练行为，当组大小调优得当时，组归一化优于其他替代方法。