[论文解读] Convergence Rates of Stochastic Gradient Descent under Infinite Noise Variance

Hongjian Wang, Mert Gürbüzbalaban+3 more|arXiv (Cornell University)|Feb 20, 2021

Stochastic Gradient Optimization Techniques参考文献 40被引用 10

一句话总结

本文在梯度噪声具有无限方差的重尾分布（且方差无限）条件下，建立了随机梯度下降（SGD）的收敛速率，提出了一种关于 Hessian 矩阵的新型‘p-正定（半正定）’条件。研究证明了 $L^p$ 收敛至全局最优解，并推导出广义中心极限定理，表明 Polyak-Ruppert 平均收敛于多元 $\alpha$-稳定分布，从而在不修改算法或损失函数的前提下实现了鲁棒分析。

ABSTRACT

Recent studies have provided both empirical and theoretical evidence illustrating that heavy tails can emerge in stochastic gradient descent (SGD) in various scenarios. Such heavy tails potentially result in iterates with diverging variance, which hinders the use of conventional convergence analysis techniques that rely on the existence of the second-order moments. In this paper, we provide convergence guarantees for SGD under a state-dependent and heavy-tailed noise with a potentially infinite variance, for a class of strongly convex objectives. In the case where the $p$-th moment of the noise exists for some $p\in [1,2)$, we first identify a condition on the Hessian, coined '$p$-positive (semi-)definiteness', that leads to an interesting interpolation between positive semi-definite matrices ($p=2$) and diagonally dominant matrices with non-negative diagonal entries ($p=1$). Under this condition, we then provide a convergence rate for the distance to the global optimum in $L^p$. Furthermore, we provide a generalized central limit theorem, which shows that the properly scaled Polyak-Ruppert averaging converges weakly to a multivariate $α$-stable random vector. Our results indicate that even under heavy-tailed noise with infinite variance, SGD can converge to the global optimum without necessitating any modification neither to the loss function or to the algorithm itself, as typically required in robust statistics. We demonstrate the implications of our results to applications such as linear regression and generalized linear models subject to heavy-tailed data.

研究动机与目标

• 解决当梯度噪声方差无限时，SGD 缺乏收敛保证的问题，这在现代机器学习中是一种常见情形。
• 分析在状态相关、重尾噪声下 SGD 的行为，其 $p$ 阶矩存在但 $p \in [1,2)$，此时二阶矩发散。
• 在方差无限的情况下，为强凸目标函数建立 $L^p$ 收敛速率。
• 在重尾噪声下，为 Polyak-Ruppert 平均推导广义中心极限定理。
• 展示该方法在重尾数据下的线性回归与广义线性模型中的适用性。

提出的方法

• 提出 Hessian 矩阵的‘p-正定（半正定）’概念，该概念在 $p=2$ 时对应正定性，在 $p=1$ 时对应对角占优性。
• 在具有无限二阶矩但 $p$ 阶矩有限（$p \in [1,2)$）的鞅差噪声序列下分析 SGD 的动态行为。
• 利用 p-正定性条件，建立到全局最优解距离的 $L^p$-范数收敛性。
• 借助正则变体理论与 $\alpha$-稳定分布的吸引域结果，推导广义中心极限定理。
• 采用 Polyak-Ruppert 平均方案，并在 p-正定性条件下证明其弱收敛于多元 $\alpha$-稳定分布。
• 将结果应用于线性回归与广义线性模型，证明在不修改损失函数或算法的前提下对重尾数据具有鲁棒性。

实验结果

研究问题

• RQ1 当梯度噪声方差无限时，SGD 是否仍能收敛至全局最优解？
• RQ2 Hessian 矩阵需满足何种结构条件，才能在 $p \in [1,2)$ 的重尾噪声下实现 $L^p$ 收敛？
• RQ3 在方差无限的噪声下，Polyak-Ruppert 平均是否弱收敛于稳定分布？
• RQ4 噪声的尾指数 $\alpha$ 如何影响 SGD 的收敛行为？
• RQ5 在重尾噪声下，是否可可靠地应用标准推断方法（如置信区间）？

主要发现

• 本文提出‘p-正定（半正定）’作为在方差无限噪声下 SGD 实现 $L^p$ 收敛的充分条件。
• 当 $p \in [1,2)$ 时，在 p-正定性条件下，到全局最优解的距离在 $L^p$-范数下收敛。
• Polyak-Ruppert 平均弱收敛于参数为 $\alpha = p$ 的多元 $\alpha$-稳定分布，从而建立了广义中心极限定理。
• 即使二阶矩不存在，该收敛结果仍无需修改损失函数或算法即可成立。
• 该框架适用于具有重尾数据的线性回归与广义线性模型，保持统计有效性。
• 通过规则变体尾部的理论分析及 $\alpha$-稳定分布吸引域的研究，验证了结果的合理性。