[论文解读] Iterative Normalization: Beyond Standardization towards Efficient Whitening

Lei Huang, Yi Zhou+3 more|arXiv (Cornell University)|Apr 6, 2019

Advanced Neural Network Applications参考文献 47被引用 12

一句话总结

本文提出了一种新型归一化技术——迭代归一化（IterNorm），通过利用牛顿迭代法近似协方差矩阵的逆平方根，实现无需特征分解的高效ZCA白化，显著提升了训练效率与泛化性能，优于批量归一化（BN）和去相关批量归一化（DBN）。IterNorm降低了对小批量大小的敏感性，并在CIFAR-10和ImageNet上实现了更快的推理速度与更优的优化稳定性。

ABSTRACT

Batch Normalization (BN) is ubiquitously employed for accelerating neural network training and improving the generalization capability by performing standardization within mini-batches. Decorrelated Batch Normalization (DBN) further boosts the above effectiveness by whitening. However, DBN relies heavily on either a large batch size, or eigen-decomposition that suffers from poor efficiency on GPUs. We propose Iterative Normalization (IterNorm), which employs Newton's iterations for much more efficient whitening, while simultaneously avoiding the eigen-decomposition. Furthermore, we develop a comprehensive study to show IterNorm has better trade-off between optimization and generalization, with theoretical and experimental support. To this end, we exclusively introduce Stochastic Normalization Disturbance (SND), which measures the inherent stochastic uncertainty of samples when applied to normalization operations. With the support of SND, we provide natural explanations to several phenomena from the perspective of optimization, e.g., why group-wise whitening of DBN generally outperforms full-whitening and why the accuracy of BN degenerates with reduced batch sizes. We demonstrate the consistently improved performance of IterNorm with extensive experiments on CIFAR-10 and ImageNet over BN and DBN.

研究动机与目标

• 为解决去相关批量归一化（DBN）因依赖计算成本高昂的特征分解或SVD而效率低下的问题，尤其是在GPU上表现不佳。
• 降低归一化对小批量大小的敏感性，该问题在训练集和测试集上均会降低性能。
• 开发一种比标准归一化（如BN）和完整白化（如DBN）更高效的替代方案，实现优化与泛化之间的平衡。
• 提出并验证随机归一化扰动（SND）作为量化和分析小批量归一化引入的随机不确定性的指标。
• 证明IterNorm在优化速度与泛化性能之间实现了优于BN和DBN的更好权衡。

提出的方法

• IterNorm利用牛顿迭代法近似协方差矩阵的逆平方根，实现无需显式特征分解的高效ZCA白化。
• 该方法沿协方差矩阵的特征向量方向进行迭代缩放，收敛速度与特征值成正比，从而自然抑制低方差方向。
• 在迭代前对特征值进行归一化，以确保牛顿法的收敛性，维持数值稳定性。
• 该算法设计计算高效，实际运行时间与3×3卷积相近，适用于现代深度学习工作负载。
• 引入SND（随机归一化扰动）作为新指标，用于量化在不同批量大小和特征维度下归一化操作引入的随机不确定性。
• 该方法逐层应用于中间激活值，通过迭代近似白化变换实现中心化、缩放与去相关。

实验结果

研究问题

• RQ1 如何在不依赖昂贵特征分解或SVD的前提下，实现在深层网络中高效且稳定的白化？
• RQ2 为何BN在小批量大小下性能下降？这一问题能否被缓解？
• RQ3 在不同批量大小和特征维度下，各类归一化方法在优化效率与泛化能力之间的权衡如何变化？
• RQ4 我们能否量化小批量归一化引入的随机不确定性？其对模型性能有何影响？
• RQ5 通过牛顿法实现的迭代白化是否在泛化性能与收敛速度上优于标准归一化或完整白化？

主要发现

• 在CIFAR-10和ImageNet上，IterNorm的训练速度更快且泛化性能优于BN和DBN，且在多种网络架构中均表现出一致的性能提升。
• 在批量大小为256的VGG网络上，IterNorm将每轮迭代的训练时间缩短至0.343秒，而DBN为1.366秒，显著提升了训练效率。
• 当迭代次数T=5时，IterNorm在MNIST上实现了最佳测试准确率，优于BN和DBN，并展现出在条件调节与随机性之间的最优权衡。
• SND分析表明，与DBN相比，IterNorm在低批量大小下引入的随机扰动更小，这得益于其对低方差分量的忽略能力。
• 与IterNorm结合的归一化特征协方差矩阵的条件数显著改善，且随着迭代次数T的增加而降低，表明其具有更好的数值稳定性。
• 即使在未优化的实现下，IterNorm的实际运行时间也快于DBN，且与标准卷积操作相当，展现出强大的GPU效率。