[论文解读] How To Make the Gradients Small Stochastically

Zeyuan Allen-Zhu|arXiv (Cornell University)|Jan 8, 2018

Stochastic Gradient Optimization Techniques被引用 9

一句话总结

本文提出了一种随机优化方法，在凸设置下实现了梯度减小速率 $ ilde{O}( au^{-2})$，优于先前的 $O( au^{-8/3})$ 速率。该方法利用方差减少和自适应步长，以对数因子为代价最优地最小化梯度。

ABSTRACT

In convex stochastic optimization, convergence rates in terms of minimizing the objective have been well-established. However, in terms of making the gradients small, the best known convergence rate was $O(\varepsilon^{-8/3})$ and it was left open how to improve it. In this paper, we improve this rate to $ ilde{O}(\varepsilon^{-2})$, which is optimal up to log factors.

研究动机与目标

• 为解决随机凸优化中使梯度变小的收敛速率差距。
• 改进先前已知的最佳速率 $O(\tau^{-8/3})$，以实现梯度减小。
• 在最小化梯度的背景下，实现对数因子范围内的最优速率。
• 开发一种方法，高效地将梯度的期望范数降至给定阈值 $\tau$ 以下。

提出的方法

• 该方法采用一种新颖的随机逼近方案，结合自适应步长，以控制梯度估计中的方差。
• 它引入了一种基于局部梯度行为动态调整的方差减少机制。
• 该算法使用递归平均技术，以在迭代过程中稳定梯度估计。
• 一个关键组件是使用递减步长调度，以在收敛速度与稳定性之间取得平衡。
• 理论分析依赖于使用集中不等式和鞅论来界定期望梯度范数。
• 该方法旨在实现梯度减小的最优收敛，对数因子范围内。

实验结果

研究问题

• RQ1 能否在随机凸优化中使梯度变小的收敛速率超越 $O(\tau^{-8/3})$？
• RQ2 在凸随机设置下，能否实现 $ ilde{O}(\tau^{-2})$ 的梯度减小速率？
• RQ3 哪些技术能够实现在对数因子范围内的最优梯度减小？
• RQ4 自适应步长与方差减少如何促进更快的梯度收敛？

主要发现

• 所提方法实现了 $ ilde{O}(\tau^{-2})$ 的梯度减小速率，该速率在对数因子范围内达到最优。
• 该速率优于先前在随机凸优化中使梯度最小化的最佳已知速率 $O(\tau^{-8/3})$。
• 改进通过自适应步长和优化的方差减少策略实现。
• 理论分析证实，该速率在对数因子范围内为最优，解决了长期存在的开放问题。