[论文解读] Logarithmic landscape and power-law escape rate of SGD.

T. Mori, Liu Ziyin+2 more|arXiv (Cornell University)|May 20, 2021

Stochastic Gradient Optimization Techniques被引用 5

一句话总结

该论文通过时间变量变换将乘性噪声转换为加性噪声，推导出随机梯度下降（SGD）的随机微分方程（SDE），揭示了网络参数的平稳分布相对于对数化损失呈幂律分布。从局部极小值逃逸的速率取决于对数损失屏障高度，解释了为何SGD偏好有效维度较低的平坦极小值。

ABSTRACT

Stochastic gradient descent (SGD) undergoes complicated multiplicative noise for the mean-square loss. We use this property of the SGD noise to derive a stochastic differential equation (SDE) with simpler additive noise by performing a non-uniform transformation of the time variable. In the SDE, the gradient of the loss is replaced by that of the logarithmized loss. Consequently, we show that, near a local or global minimum, the stationary distribution $P_\mathrm{ss}( heta)$ of the network parameters $ heta$ follows a power-law with respect to the loss function $L( heta)$, i.e. $P_\mathrm{ss}( heta)\propto L( heta)^{-\phi}$ with the exponent $\phi$ specified by the mini-batch size, the learning rate, and the Hessian at the minimum. We obtain the escape rate formula from a local minimum, which is determined not by the loss barrier height $\Delta L=L( heta^s)-L( heta^*)$ between a minimum $ heta^*$ and a saddle $ heta^s$ but by the logarithmized loss barrier height $\Delta\log L=\log[L( heta^s)/L( heta^*)]$. Our escape-rate formula explains an empirical fact that SGD prefers flat minima with low effective dimensions.

研究动机与目标

• 通过建模噪声特性，理解SGD在极小值附近的统计行为。
• 解决均方损失下SGD中乘性噪声带来的分析复杂性挑战。
• 通过非均匀时间变换，将SGD的SDE简化为具有加性噪声的形式。
• 以对数化损失为基准，表征网络参数的平稳分布。
• 通过逃逸速率公式解释为何SGD偏好有效维度较低的平坦极小值。

提出的方法

• 应用非均匀时间变换，将SGD中的乘性噪声转换为加性噪声。
• 推导出梯度被替换为对数化损失梯度的SDE。
• 利用极小值处的Hessian矩阵与小批量大小确定幂律平稳分布中的指数φ。
• 通过对数损失屏障高度ΔlogL = log[L(θs)/L(θ*)]建模从局部极小值逃逸的速率。
• 证明在极小值附近，平稳分布P_ss(θ) ∝ L(θ)^{-φ}，其中φ依赖于学习率、小批量大小与Hessian矩阵。
• 建立逃逸过程由对数损失差异而非原始损失差异主导，从而解释对平坦极小值的偏好。

实验结果

研究问题

• RQ1 SGD中的乘性噪声如何影响极小值附近网络参数的平稳分布？
• RQ2 何种变换可通过将乘性噪声转换为加性噪声来简化SGD的SDE？
• RQ3 逃逸速率如何根据损失值确定？
• RQ4 为何SGD偏好有效维度较低的平坦极小值？
• RQ5 在SGD下参数的平稳分布的函数形式是什么？其如何依赖于损失景观？

主要发现

• SGD参数在极小值附近的平稳分布遵循幂律：P_ss(θ) ∝ L(θ)^{-φ}，其中φ取决于学习率、小批量大小与极小值处的Hessian矩阵。
• 从局部极小值逃逸的速率由对数损失屏障高度ΔlogL = log[L(θs)/L(θ*)]决定，而非原始损失差ΔL。
• SGD表现出对平坦极小值的偏好，因为对数屏障高度对尖锐极小值的惩罚更强，尤其是在损失值较小时。
• 对非均匀时间变量的变换使得能够获得具有加性噪声的精确SDE，从而简化了SGD动力学的分析。
• 所推导的逃逸速率公式解释了经验观察：当SGD收敛于有效维度较低的极小值时，泛化性能更优。
• 平稳分布的幂律行为意味着低损失区域更可能被访问，但仅当按对数损失尺度加权时才成立。