[论文解读] Adaptive Restart for Accelerated Gradient Schemes

Brendan O’Donoghue, Emmanuel J. Candès|arXiv (Cornell University)|Apr 18, 2012

Sparse and Compressive Sensing Techniques参考文献 13被引用 21

一句话总结

本文提出了一种加速梯度方法的自适应重启技术，通过检测目标函数值中的周期性振荡，并在动量超过最优阈值时重启，从而改善收敛性。通过在目标函数值增加时重启（表明处于‘高动量’行为），该方法在无需事先知晓函数条件数的情况下，恢复了最优的线性收敛速率。

ABSTRACT

In this paper we demonstrate a simple heuristic adaptive restart technique that can dramatically improve the convergence rate of accelerated gradient schemes. The analysis of the technique relies on the observation that these schemes exhibit two modes of behavior depending on how much momentum is applied. In what we refer to as the 'high momentum' regime the iterates generated by an accelerated gradient scheme exhibit a periodic behavior, where the period is proportional to the square root of the local condition number of the objective function. This suggests a restart technique whereby we reset the momentum whenever we observe periodic behavior. We provide analysis to show that in many cases adaptively restarting allows us to recover the optimal rate of convergence with no prior knowledge of function parameters.

研究动机与目标

• 解决当动量超过最优阈值时加速梯度方案收敛性欠佳的问题。
• 开发一种启发式重启策略，以在无需事先知晓函数条件数或强凸性参数的情况下提升收敛性能。
• 证明自适应重启可在局部良好条件区域恢复最优线性收敛速率。
• 提出一种基于优化过程中目标函数行为的实用且易于实现的重启准则。
• 在真实世界问题（如Lasso回归和带约束的二次规划）上验证该方法的有效性。

提出的方法

• 该方法检测目标函数值中的周期性振荡，这些振荡在动量超过最优值时出现，表明处于‘高动量’状态。
• 当目标函数值增加时触发重启，表明当前动量已产生反效果。
• 重启条件通过监测广义梯度步长的符号来实现：当 $ G(y^k)^T(x^{k+1} - x^k) > 0 $ 时重启，或等价地 $ (y^k - x^{k+1})^T(x^{k+1} - x^k) > 0 $。
• 该技术被应用于标准加速算法（如FISTA和加速投影梯度下降），对原始算法仅作最小程度修改。
• 实验表明，重启间隔与局部条件数的平方根成比例，与理论预期一致。
• 该方法适用于光滑凸和强凸问题，包括Lasso问题和带框约束的二次规划。

实验结果

研究问题

• RQ1 能否设计一种简单且自适应的重启机制，在不依赖函数参数先验知识的情况下，提升加速梯度方法的收敛性能？
• RQ2 加速方案中目标函数值的周期性振荡与动量水平之间存在何种关系？
• RQ3 在目标函数值增加时重启，是否能在局部良好条件区域恢复最优线性收敛速率？
• RQ4 最优重启间隔如何随目标函数的局部条件数变化？
• RQ5 所提出的重启准则能否有效应用于Lasso和二次规划等约束优化问题？

主要发现

• 基于目标函数值增加触发的自适应重启机制，显著加速了加速梯度方案的收敛速度。
• 即使强凸性参数 $ \mu $ 未知，该方法仍能恢复最优线性收敛速率 $ \mathcal{O}(\sqrt{L/\mu} \log(1/\epsilon)) $。
• 目标函数值中振荡的周期与局部条件数的平方根 $ \sqrt{L/\mu} $ 成正比，与最优重启间隔一致。
• 在Lasso回归和二次规划的数值实验中，自适应重启使收敛时间相比非重启的加速方法减少了数量级。
• 基于广义梯度步长 $ G(y^k)^T(x^{k+1} - x^k) > 0 $ 的重启条件能可靠检测动量是否过度。
• 该技术在非强凸设置下同样具有鲁棒性和有效性，尤其在接近最优解时，局部良好条件性可带来显著的速度提升。