[论文解读] Fast Convergence of Stochastic Gradient Descent under a Strong Growth Condition

Mark Schmidt, Nicolas Le Roux|arXiv (Cornell University)|Aug 29, 2013

Stochastic Gradient Optimization Techniques参考文献 7被引用 86

一句话总结

该论文证明，在强增长条件下，随机梯度下降（SGD）可实现 $O(1/k)$ 的快速收敛和线性收敛，其中单个梯度范数受全梯度范数的线性函数控制。在足够小的常数步长下，SGD 的收敛速率可与确定性梯度下降方法持平，即使每次迭代仅使用一个样本。

ABSTRACT

We consider optimizing a function smooth convex function $f$ that is the average of a set of differentiable functions $f_i$, under the assumption considered by Solodov [1998] and Tseng [1998] that the norm of each gradient $f_i'$ is bounded by a linear function of the norm of the average gradient $f'$. We show that under these assumptions the basic stochastic gradient method with a sufficiently-small constant step-size has an $O(1/k)$ convergence rate, and has a linear convergence rate if $g$ is strongly-convex.

研究动机与目标

• 在强增长条件下，弥合随机梯度下降与确定性梯度下降收敛速率之间的差距。
• 证明常数步长的 SGD 可在凸目标函数下实现 $O(1/k)$ 收敛，在强凸目标函数下实现线性收敛。
• 识别出 SGD 在无需递减步长的情况下仍能保持快速收敛的条件。
• 将先前关于确定性增量梯度方法的结果扩展到仅使用单一样本更新规则的随机设置中。

提出的方法

• 引入强增长条件：对所有 $x$，有 $\max_i \|f_i'(x)\| \leq B \|f'(x)\|$，确保单个梯度受平均梯度的控制。
• 将 SGD 重述为带有误差项 $e_k = f_i'(x_k) - f'(x_k)$ 的完整梯度更新，从而支持方差分析。
• 利用该条件推导出 $\mathbb{E}[\|e_k\|^2] \leq (B^2 - 1)\|f'(x_k)\|^2$，将误差方差与梯度范数关联起来。
• 通过使用 $\|x_k - x^*\|^2$ 的李雅普诺夫函数方法，推导出递归误差界。
• 通过选择 $\alpha = 1/(LB^2)$ 并对参数 $\beta$ 进行优化以抵消梯度项，推导出收敛速率。
• 通过在迭代过程中应用期望与求和技巧，建立 $O(1/k)$ 和线性收敛速率。

实验结果

研究问题

• RQ1 在强增长条件下，SGD 是否能以常数步长实现 $O(1/k)$ 收敛？
• RQ2 强增长条件是否能使强凸目标函数下的 SGD 在常数步长下实现线性收敛？
• RQ3 在强增长条件下，随机梯度的方差与全梯度范数之间有何关系？
• RQ4 在该条件下，SGD 的收敛速率是否可与确定性梯度下降方法相当？
• RQ5 在强增长条件下，确保快速收敛的最优常数步长是什么？

主要发现

• 在强增长条件 $\max_i \|f_i'(x)\| \leq B \|f'(x)\|$ 下，SGD 使用常数步长 $\alpha = 1/(LB^2)$ 可实现凸目标函数的 $O(1/k)$ 收敛。
• 对于强凸目标函数，使用相同步长的 SGD 实现线性收敛：$\mathbb{E}[f(x_k)] - f(x^*) \leq \left(1 - \frac{\mu}{LB^2}\right)^k [f(x_0) - f(x^*)]$。
• 当 $B \to 1$ 时，收敛速率趋近于确定性方法的 $O(1/k)$ 和线性速率，表明界是紧致的。
• 分析表明，随机梯度的方差受控于 $\mathbb{E}[\|e_k\|^2] \leq (B^2 - 1)\|f'(x_k)\|^2$，这是推导收敛速率的关键。
• 该方法在无需递减步长的情况下实现快速收敛，与标准 SGD 不同。
• 即使每次迭代仅使用一个样本，该结果依然成立，表明强增长条件使随机设置下的快速收敛成为可能。