[论文解读] Accelerating Stochastic Gradient Descent For Least Squares Regression

Prateek Jain, Sham M. Kakade+3 more|arXiv (Cornell University)|Apr 26, 2017

Stochastic Gradient Optimization Techniques参考文献 35被引用 25

一句话总结

本文提出了一种用于最小二乘回归的加速随机梯度下降（ASGD）方法，其达到最小最大最优统计风险的速度快于标准随机梯度下降（SGD）。通过严格分析 ASGD 作为随机过程，并引入一种新颖的势函数，作者证明了加速可对统计误差保持鲁棒性，从而在过失风险方面实现更快的收敛速率，为 $\mathcal{O}^*\left(\exp\left(-n/\sqrt{\kappa\widetilde{\kappa}}\right)\right)$，优于非加速方法。

ABSTRACT

There is widespread sentiment that it is not possible to effectively utilize fast gradient methods (e.g. Nesterov's acceleration, conjugate gradient, heavy ball) for the purposes of stochastic optimization due to their instability and error accumulation, a notion made precise in d'Aspremont 2008 and Devolder, Glineur, and Nesterov 2014. This work considers these issues for the special case of stochastic approximation for the least squares regression problem, and our main result refutes the conventional wisdom by showing that acceleration can be made robust to statistical errors. In particular, this work introduces an accelerated stochastic gradient method that provably achieves the minimax optimal statistical risk faster than stochastic gradient descent. Critical to the analysis is a sharp characterization of accelerated stochastic gradient descent as a stochastic process. We hope this characterization gives insights towards the broader question of designing simple and effective accelerated stochastic methods for more general convex and non-convex optimization problems.

研究动机与目标

• 挑战一种传统观点，即像 Nesterov 加速这样的快速梯度方法由于误差累积在随机优化中不稳定。
• 设计一种计算高效、适用于流式处理的算法，以在最小二乘回归中实现最小最大最优统计风险。
• 对加速随机梯度下降作为随机过程进行精确刻画，从而实现对统计噪声的鲁棒性。
• 证明通过控制偏差和方差，可使加速在随机设置中有效，方法是利用一种新颖的势函数和过程级分析。

提出的方法

• 提出一种新型加速随机梯度下降（ASGD）算法，结合适用于最小二乘回归的动量和方差减少技术。
• 引入一种新颖的势函数，以分析 ASGD 中误差的偏差与方差分量，从而实现对收敛性的紧密控制。
• 将 ASGD 迭代过程视为随机过程，利用矩阵扰动理论和谱分解推导出迭代值协方差的上界。
• 采用张量分解方法，将过失风险的偏差与方差分量分离，实现对误差的精确刻画。
• 建立“预热阶段”分析，表明误差在对数因子范围内呈指数衰减，之后统计误差占主导地位。
• 利用矩阵范数界和特征值分析，控制误差项的增长，特别是在存在噪声和条件数影响的情况下。

实验结果

研究问题

• RQ1 加速梯度方法能否在随机优化中对统计误差保持鲁棒性？
• RQ2 在最小二乘回归中，能否比标准 SGD 更快地实现最小最大最优统计风险？
• RQ3 在非渐近设置下，加速随机梯度下降的偏差与方差分量能否被精确刻画？
• RQ4 ASGD 的随机过程行为在实现更快收敛速率中起到什么作用？
• RQ5 能否设计一种势函数，以紧密界定加速随机方法的误差动态？

主要发现

• 所提出的 ASGD 方法实现了 $\mathcal{O}^*\left(\exp\left(-n/\sqrt{\kappa\widetilde{\kappa}}\right)\right)$ 的过失风险，其衰减速度超过标准 SGD 的 $\mathcal{O}(1/n)$ 速率。
• 该方法可证明地达到最小最大最优统计风险 $\mathcal{O}(\sigma^2 d / n)$，在大样本极限下与经验风险最小化器（ERM）一致。
• 分析表明，经过预热阶段后，主导误差项为统计最优，其主要部分为 $\mathcal{O}(\sigma^2 d / n)$。
• 该算法保持了 $\mathcal{O}(d)$ 的内存占用，适用于流式处理和大规模场景。
• 与标准 SGD 相比，收敛速率通过 $\sqrt{\kappa\widetilde{\kappa}}$ 因子得到加速，其中 $\kappa$ 为条件数，$\widetilde{\kappa}$ 为统计条件数。
• 该方法对统计噪声具有鲁棒性，方差误差被限制在 $\mathcal{O}(\sigma^2 d / n)$，而偏差误差以 $\sim 1/\sqrt{\kappa\widetilde{\kappa}}$ 的速率呈指数衰减。