[论文解读] A Quantitative Analysis of the Effect of Batch Normalization on Gradient Descent

Yongqiang Cai, Qianxiao Li+1 more|arXiv (Cornell University)|Sep 28, 2018

Machine Learning and ELM被引用 7

一句话总结

本文针对普通最小二乘法（OLS）回归中的批量归一化（BN），提供了定量分析，表明带有批量归一化（BNGD）的梯度下降在任意学习率下均可线性收敛，并因条件数改善和对学习率选择不敏感而实现更快收敛。结果表明，BN在过参数化设置下显著提升了稳定性和加速性，其效果通过数值实验得到验证，并可定性推广至更深的模型。

ABSTRACT

Despite its empirical success and recent theoretical progress, there generally lacks a quantitative analysis of the effect of batch normalization (BN) on the convergence and stability of gradient descent. In this paper, we provide such an analysis on the simple problem of ordinary least squares (OLS). Since precise dynamical properties of gradient descent (GD) is completely known for the OLS problem, it allows us to isolate and compare the additional effects of BN. More precisely, we show that unlike GD, gradient descent with BN (BNGD) converges for arbitrary learning rates for the weights, and the convergence remains linear under mild conditions. Moreover, we quantify two different sources of acceleration of BNGD over GD -- one due to over-parameterization which improves the effective condition number and another due having a large range of learning rates giving rise to fast descent. These phenomena set BNGD apart from GD and could account for much of its robustness properties. These findings are confirmed quantitatively by numerical experiments, which further show that many of the uncovered properties of BNGD in OLS are also observed qualitatively in more complex supervised learning problems.

研究动机与目标

• 为理解批量归一化（BN）如何影响优化中梯度下降（GD）的收敛性和稳定性提供定量分析。
• 通过分析最简单非平凡的监督学习问题——普通最小二乘法（OLS）回归——来隔离BN的影响，其中GD的动力学行为是完全已知的。
• 识别并量化BNGD相较于标准GD在学习率鲁棒性和收敛速度方面的具体机制。
• 通过数值实验在OLS设置中验证发现，并评估其向更复杂的深度学习问题的定性可迁移性。

提出的方法

• 研究分析了BNGD在OLS问题上的表现，其中损失函数为二次型，且GD动力学具有解析可解性。
• 作者推导了在恒定学习率下BNGD的精确收敛性质，证明当权重更新规则中包含BN时，其对任意学习率均可实现线性收敛。
• 量化了由于过参数化带来的BNGD中有效条件数的改善，从而加速收敛。
• 分析引入了一个对学习率不敏感的区间，其特征由Hessian矩阵的迹和二阶矩决定，且该区间随维度增加而扩大。
• 在具有不同特征值分布（算术、几何和扰动单位阵）的高维OLS问题上进行了数值实验，以验证理论发现。
• 采用几何平均来评估性能，以避免算术平均因极端值带来的偏差。

实验结果

研究问题

• RQ1 批量归一化在学习率敏感性方面如何改变梯度下降的收敛行为？
• RQ2 在OLS设置中，BNGD相较于标准GD在收敛速度和稳定性方面提供了哪些定量改进？
• RQ3 BN带来的优势（如对学习率不敏感和更快收敛）在多大程度上源于过参数化和条件数降低？
• RQ4 OLS中的理论洞察能否定性推广至更复杂的深度学习问题？

主要发现

• BNGD对权重的收敛在任意学习率下均为线性收敛，而标准GD在学习率过大时可能发散。
• BNGD的收敛速度优于GD，且随着过参数化程度提高而进一步加快，这归因于优化问题有效条件数的降低。
• 可实现快速收敛的学习率范围（即不敏感区间）随问题维度增大而扩大，其特征由Hessian矩阵的迹和二阶矩决定。
• 数值实验表明，OLS中对学习率不敏感和更快收敛的特性在更深的模型中仍能定性保持，即使存在非线性激活函数。
• 损失和误差的几何平均收敛速度优于算术平均，表明几何平均是评估BNGD在不同随机初始化下性能的更可靠指标。
• 对于特征值呈算术或几何级数分布的Hessian矩阵，最优学习率的大小近似与维度呈线性关系，与理论预测一致。