[论文解读] Linearly convergent stochastic heavy ball method for minimizing generalization error

Nicolas Loizou, Peter Richtárik|arXiv (Cornell University)|Oct 30, 2017

Stochastic Gradient Optimization Techniques参考文献 13被引用 26

一句话总结

本文提出随机梯度下降结合动量的随机重型球（SHB）方法，用于最小化泛化误差，首次建立了在期望下的线性收敛速率，在精确性条件下实现加速收敛，迭代复杂度为 $\mathcal{O}(\sqrt{\lambda_{\max}/\lambda_{\min}^{+}}\log(1/\epsilon))$。实验表明，该方法优于标准SGD和随机Kaczmarz方法。

ABSTRACT

In this work we establish the first linear convergence result for the stochastic heavy ball method. The method performs SGD steps with a fixed stepsize, amended by a heavy ball momentum term. In the analysis, we focus on minimizing the expected loss and not on finite-sum minimization, which is typically a much harder problem. While in the analysis we constrain ourselves to quadratic loss, the overall objective is not necessarily strongly convex.

研究动机与目标

• 在非强凸目标函数和固定步长条件下，建立随机重型球（SHB）方法在最小化期望损失方面的首次线性收敛结果。
• 在一致线性系统随机重构的背景下分析SHB，重点研究泛化误差而非有限和最小化问题。
• 推导迭代值在L2和L1范数下的非渐近收敛速率，包括在精确性条件下的加速速率。
• 通过实验证明动量可显著提升随机Kaczmarz类方法的收敛速度。

提出的方法

• SHB方法使用固定步长 $\omega$ 和动量参数 $\beta$，通过 $x_{k+1} = x_k - \omega \nabla f_{\mathbf{S}_k}(x_k) + \beta(x_k - x_{k-1})$ 更新迭代点，以随机梯度替代完整梯度。
• 在 $\mathbf{A}x = b$ 的随机重构框架下分析该方法，其中 $f(x) = \mathbb{E}_{\mathbf{S} \sim \mathcal{D}}[\frac{1}{2}\|\mathbf{A}x - b\|_{\mathbf{H}}^2]$，$\mathbf{H}$ 通过 $\mathbf{S}^\top \mathbf{A} \mathbf{A}^\top \mathbf{S}$ 的伪逆定义。
• 利用 $\nabla^2 f(x) = \mathbf{A}^\top \mathbb{E}_{\mathbf{S} \sim \mathcal{D}}[\mathbf{H}] \mathbf{A}$ 的谱性质建立期望收敛性，其特征值位于 $[0,1]$ 区间内。
• 分析区分了L2收敛 $\mathbb{E}[\|x_k - x_*\|^2] \to 0$ 与L1收敛 $\|\mathbb{E}[x_k - x_*]\|^2 \to 0$，后者可实现加速线性速率。
• 采用Cesàro平均 $\hat{x}_k = \frac{1}{k}\sum_{t=0}^{k-1} x_t$ 推导无精确性条件下的次线性收敛速率。
• 当 $\mathbf{S}$ 为标准基向量时，该方法退化为带动量的随机Kaczmarz方法，从而可在真实数据上进行实证验证。

实验结果

研究问题

• RQ1 在非有限和、非强凸设置下，随机重型球方法能否在期望下实现线性收敛以最小化泛化误差？
• RQ2 步长 $\omega$ 和动量 $\beta$ 需满足何种条件，可确保期望迭代点的加速线性收敛？
• RQ3 在实际中，SHB的收敛速率与标准SGD和随机Kaczmarz相比如何？
• RQ4 精确性条件在实现SHB加速收敛中起到什么作用？

主要发现

• SHB方法在 $\mathbb{E}[\|x_k - x_*\|^2]$ 上实现全局非渐近线性收敛，收敛因子依赖于 $\omega$ 和 $\beta$。
• 在精确性假设下，期望迭代点 $\mathbb{E}[x_k - x_*]$ 以速率 $\|\mathbb{E}[x_k - x_*]\|^2 \leq \beta^k C$ 线性收敛，其中 $\beta < 1$。
• 满足 $\|\mathbb{E}[x_k - x_*]\|^2 \leq \epsilon$ 的迭代复杂度为 $\mathcal{O}(\sqrt{\lambda_{\max}/\lambda_{\min}^{+}} \log(1/\epsilon))$，实现加速收敛。
• 当 $\omega = 1$ 且 $\beta = (1 - \sqrt{0.99\lambda_{\min}^{+}})^2$ 时，复杂度简化为 $\mathcal{O}(\sqrt{1/\lambda_{\min}^{+}} \log(1/\epsilon))$。
• 在无精确性条件下，Cesàro平均 $\hat{x}_k$ 满足 $\mathbb{E}[f(\hat{x}_k)] = \mathcal{O}(1/k)$，与标准SGD的收敛速率一致。
• 在LIBSVM数据上的实证结果表明，动量显著加快了迭代次数和实际运行时间下的收敛速度。