[论文解读] Theoretical Analysis of Auto Rate-Tuning by Batch Normalization

Sanjeev Arora, Zhiyuan Li+1 more|arXiv (Cornell University)|Dec 10, 2018

Stochastic Gradient Optimization Techniques参考文献 16被引用 37

一句话总结

本文从理论上解释了批归一化（Batch Normalization）为何能自动调节学习率，表明在固定学习率（例如0.3）下对尺度不变参数进行梯度下降时，收敛速率可达到$T^{-1/2}$，与经过良好调优的梯度下降的最优速率一致。此外，本文还证明了随机梯度下降的收敛速率为$T^{-1/4}$，展示了BN在无需手动调参的情况下隐式适应有效学习率的能力。

ABSTRACT

Batch Normalization (BN) has become a cornerstone of deep learning across diverse architectures, appearing to help optimization as well as generalization. While the idea makes intuitive sense, theoretical analysis of its effectiveness has been lacking. Here theoretical support is provided for one of its conjectured properties, namely, the ability to allow gradient descent to succeed with less tuning of learning rates. It is shown that even if we fix the learning rate of scale-invariant parameters (e.g., weights of each layer with BN) to a constant (say, $0.3$), gradient descent still approaches a stationary point (i.e., a solution where gradient is zero) in the rate of $T^{-1/2}$ in $T$ iterations, asymptotically matching the best bound for gradient descent with well-tuned learning rates. A similar result with convergence rate $T^{-1/4}$ is also shown for stochastic gradient descent.

研究动机与目标

• 从理论上解释批归一化在深度学习中减少手动调整学习率的观察现象。
• 分析BN是否能在使用固定且次优学习率的情况下，使梯度下降实现最优收敛速率。
• 正式定义并区分神经网络中的尺度不变参数与尺度可变参数。
• 在使用固定学习率的批归一化条件下，建立全批量和随机梯度下降的收敛速率。
• 通过实验对比BN开启与关闭自动调参行为的情况，验证理论发现。

提出的方法

• 理论分析将网络参数划分为尺度不变参数（如使用BN的层权重）和尺度可变参数（如γ, β）两类。
• 本文证明，对于尺度不变参数，在全批量梯度下降下，固定学习率可实现$T^{-1/2}$的收敛速率至驻点。
• 对于随机梯度下降，收敛速率被证明为$T^{-1/4}$，与最优调参学习率方法的已知最佳速率一致。
• 该分析依赖于损失函数对尺度不变参数缩放的不变性，导致梯度与参数大小成反比变化。
• 实验通过分别使用或统一学习率，对比开启与关闭BN的训练过程，以隔离自动调参效应。
• 一种基于投影的变体（设定2）消除了自适应学习率行为，从而可与标准BN设置（设定1）进行对比。

实验结果

研究问题

• RQ1 批归一化能否使梯度下降在无需手动调整学习率的情况下实现最优收敛速率？
• RQ2 在固定学习率下，对尺度不变参数进行梯度下降的收敛速率是否与经过良好调优的梯度下降一致？
• RQ3 BN的自动调参行为如何影响随机梯度下降中的收敛性与泛化性能？
• RQ4 尺度不变性在BN下实现隐式学习率自适应中起到什么作用？
• RQ5 与使用固定学习率的标准SGD相比，BN的自动调参行为在多大程度上提升了泛化性能？

主要发现

• 在尺度不变参数上使用固定学习率0.3时，梯度下降可实现$T^{-1/2}$的收敛速率至驻点，与调优后梯度下降的最优速率一致。
• 对于随机梯度下降，收敛速率为$T^{-1/4}$，这是已知的最佳速率，适用于经过恰当调优的学习率。
• 实验结果表明，BN可在大固定学习率下实现收敛，而无BN或使用基于投影的自适应方法的训练则在相同条件下无法收敛。
• 在BN设置（设定1）中，所有学习率下的测试准确率均保持在75%以上，而在非自适应设置（设定2）中显著下降，表明泛化性能得到改善。
• BN的自动调参行为使模型能在更广泛的学习率范围内稳定训练，从而减少了超参数调优的需求。
• 理论分析得到实证验证：BN在大学习率下仍能保持性能，而无BN或使用固定投影的模型则出现发散。