[论文解读] Simple and optimal high-probability bounds for strongly-convex stochastic gradient descent

Nicholas J. A. Harvey, Christopher Liaw+1 more|arXiv (Cornell University)|Sep 2, 2019

Stochastic Gradient Optimization Techniques参考文献 11被引用 11

一句话总结

本文提出了一种用于非光滑、强凸优化中的随机梯度下降（SGD）的简单非均匀平均策略。通过线性加权早期迭代，并利用基于Freedman不等式的改进型鞅分析，该方法在高概率下实现了最优的 $O(1/T)$ 收敛速率，与理论下界一致，并在实验中优于标准方法。

ABSTRACT

We consider stochastic gradient descent algorithms for minimizing a non-smooth, strongly-convex function. Several forms of this algorithm, including suffix averaging, are known to achieve the optimal $O(1/T)$ convergence rate in expectation. We consider a simple, non-uniform averaging strategy of Lacoste-Julien et al. (2011) and prove that it achieves the optimal $O(1/T)$ convergence rate with high probability. Our proof uses a recently developed generalization of Freedman's inequality. Finally, we compare several of these algorithms experimentally and show that this non-uniform averaging strategy outperforms many standard techniques, and with smaller variance.

研究动机与目标

• 弥合非光滑、强凸函数上 SGD 的期望收敛率与高概率收敛保证之间的差距。
• 证明一种简单的非均匀平均策略——此前已知可实现最优期望收敛——同样可在高概率下达到最优的 $O(1/T)$ 速率。
• 通过广义的Freedman型不等式和先前工作中观察到的递归鞅结构，提供一种简洁、初等的证明。
• 通过实证验证，非均匀平均在收敛速度和方差方面均优于标准输出策略（如最终迭代、均匀平均）。

提出的方法

• 该方法使用标准 SGD，步长 $\eta_t = \frac{1}{t+1}$，但输出迭代值的非均匀平均，其中第 $i$ 个迭代值按 $i$ 的比例加权。
• 分析识别出一个具有递归结构的鞅差分序列，使得可通过广义Freedman不等式获得紧致的集中界。
• 通过一个单变量测试案例 $f(x) = \frac{1}{2}x^2$ 推导出紧致的高概率界，表明该方法以至少 $1 - \delta$ 的概率实现 $O(\log(1/\delta)/T)$ 的误差。
• 应用Klein和Young（2015）提出的反向Chernoff不等式，对有界随机变量的和完成高概率分析。
• 通过利用递归鞅性质和梯度的统一有界性，将该方法推广至一般非光滑、强凸函数。
• 该方法仅需一行额外代码即可实现——仅需添加一行代码计算非均匀平均——因此在实际应用中具有可行性。

实验结果

研究问题

• RQ1 SGD 的简单非均匀平均策略是否能在高概率下实现最优的 $O(1/T)$ 收敛速率，而不仅是在期望意义下？
• RQ2 先前 SGD 分析中观察到的递归鞅结构是否能在非光滑、强凸设置下实现紧致的高概率界？
• RQ3 在收敛速度和方差方面，非均匀平均与标准输出策略（如最终迭代、均匀平均）相比如何？
• RQ4 高概率界 $O(\log(1/\delta)/T)$ 是否紧致，能否通过下界实现匹配？

主要发现

• 非均匀平均策略在概率至少 $1 - \delta$ 下实现了 $O\left(\log(1/\delta)/T\right)$ 的误差界，与最优速率一致，填补了此前仅基于期望的保证所留下的空白。
• 建立了 $\Omega\left(\log(1/\delta)/T\right)$ 的匹配下界，证明该高概率界是紧致的。
• 实验结果表明，该方法在期望和集中性方面均优于最终迭代和均匀平均，在 cina0 和 protein 等真实数据集上表现更优。
• 后缀平均与非均匀平均的性能几乎无法区分，后缀平均在所有测试数据集的期望性能上略占优势。
• 分析过程简洁且基础，仅依赖广义Freedman不等式和递归鞅结构，技术开销极小。
• 该方法具有实用性：非均匀平均仅需一行额外代码即可实现，是标准SGD的即插即用型改进。