[论文解读] Tight Analyses for Non-Smooth Stochastic Gradient Descent

Nicholas J. A. Harvey, Christopher Liaw+2 more|arXiv (Cornell University)|Dec 13, 2018

Stochastic Gradient Optimization Techniques参考文献 26被引用 21

一句话总结

本文为利普希茨连续且强凸的非光滑随机梯度下降（SGD）提供了紧致的高概率误差界。证明了SGD的最终迭代点以高概率实现 $ O(\log T / T) $ 的误差，与确定性梯度下降的最优速率一致，并解决了Shamir提出的一个开放问题。后缀平均（suffix averaging）同样以高概率实现了最优的 $ O(1/T) $ 速率，优于以往仅在期望意义下或带有次优对数因子的边界结果。

ABSTRACT

Consider the problem of minimizing functions that are Lipschitz and strongly convex, but not necessarily differentiable. We prove that after $T$ steps of stochastic gradient descent, the error of the final iterate is $O(\log(T)/T)$ with high probability. We also construct a function from this class for which the error of the final iterate of deterministic gradient descent is $Ω(\log(T)/T)$. This shows that the upper bound is tight and that, in this setting, the last iterate of stochastic gradient descent has the same general error rate (with high probability) as deterministic gradient descent. This resolves both open questions posed by Shamir (2012). An intermediate step of our analysis proves that the suffix averaging method achieves error $O(1/T)$ with high probability, which is optimal (for any first-order optimization method). This improves results of Rakhlin (2012) and Hazan and Kale (2014), both of which achieved error $O(1/T)$, but only in expectation, and achieved a high probability error bound of $O(\log \log(T)/T)$, which is suboptimal. We prove analogous results for functions that are Lipschitz and convex, but not necessarily strongly convex or differentiable. After $T$ steps of stochastic gradient descent, the error of the final iterate is $O(\log(T)/\sqrt{T})$ with high probability, and there exists a function for which the error of the final iterate of deterministic gradient descent is $Ω(\log(T)/\sqrt{T})$.

研究动机与目标

• 解决关于非光滑、强凸函数下随机梯度下降最终迭代点收敛速率的开放问题。
• 确定SGD最终迭代点的 $ O(\log T / T) $ 期望误差界在高概率情形下是否紧致，特别是针对高概率情形。
• 分析后缀平均在实现最优 $ O(1/T) $ 误差速率方面的能力，且该结果以高概率成立。
• 证明在非光滑与强凸设置下，误差界中的 $ \log T $ 因子是必要的，即使在确定性梯度下降中也是如此。
• 表明对最后 $ k $ 个迭代点的任意凸组合都会引入 $ \log(T/k) $ 因子，这意味着为实现最优性，后缀平均必须对最后迭代点的恒定比例进行平均。

提出的方法

• 通过矩生成函数（MGFs）处理次梯度噪声，将次梯度范数的常数界替换为随机变量，以改善高概率浓度。
• 关键技术创新在于利用MGF三角不等式（通过霍尔德或柯西-施瓦茨不等式）隔离并界定了此前被视为常数的噪声项的MGF。
• 构造了一个特定的一维函数 $ f(x) = \frac{1}{2}x^2 $ 在 $ [-1,1] $ 上，并引入对称的次梯度噪声，以推导最终迭代点与后缀平均的下界。
• 应用引理G.1（关于独立Rademacher随机变量和的浓度不等式），证明最终迭代点或其平均值以至少 $ \delta $ 的概率超过 $ \Omega(\log(1/\delta)/T) $。
• 将SGD最终迭代点的性能与后缀平均进行比较，表明在相同假设下，两者均实现了相同的高概率收敛速率。
• 通过构造一个使确定性梯度下降的最终迭代点产生 $ \Omega(\log T / T) $ 误差的函数，证明了 $ \log T $ 因子的紧致性。

实验结果

研究问题

• RQ1 对于强凸、非光滑函数，SGD最终迭代点的 $ O(\log T / T) $ 期望误差界在高概率情形下是否紧致？
• RQ2 后缀平均能否以高概率实现最优的 $ O(1/T) $ 误差速率，还是先前的 $ O(\log \log T / T) $ 高概率边界是次优的？
• RQ3 即使在确定性设置下，SGD最终迭代点误差界中的 $ \log T $ 因子是否为必要？
• RQ4 在非光滑、强凸设置下，SGD的最终迭代点是否与确定性梯度下降具有相同的高概率收敛速率？
• RQ5 为实现高概率下的最优 $ O(1/T) $ 速率，必须对最后多少个最近迭代点进行平均（通过后缀平均）？

主要发现

• 在利普希茨连续且强凸函数上，SGD的最终迭代点以高概率实现 $ O(\log T / T) $ 的误差，与确定性梯度下降的最优速率一致。
• 存在一个函数，使得确定性梯度下降的最终迭代点产生 $ \Omega(\log T / T) $ 的误差，证明了 $ \log T $ 因子的必要性，且上界是紧致的。
• 后缀平均以高概率实现 $ O(1/T) $ 的误差，这是最优的，优于以往仅在期望意义下或带有 $ \log \log T $ 因子的边界结果。
• 对最后 $ k $ 个迭代点的任意凸组合都必须承担 $ \log(T/k) $ 的误差因子，这意味着为实现最优性，后缀平均必须对最后迭代点的恒定比例进行平均。
• 最终迭代点的高概率误差界为 $ \Omega(\log(1/\delta)/T) $，表明任何高概率保证都必须依赖 $ \log(1/\delta) $ 因子。
• 对于非光滑、凸函数（不一定是强凸的），SGD的最终迭代点以高概率实现 $ O(\log T / \sqrt{T}) $ 的误差，且该界是紧致的。