[论文解读] Accelerating Nesterov's Method for Strongly Convex Functions with Lipschitz Gradient

Xiangrui Meng, Hao Chen|arXiv (Cornell University)|Sep 27, 2011

Sparse and Compressive Sensing Techniques参考文献 4被引用 9

一句话总结

该论文提出了一种自适应加速策略，用于强凸函数且梯度Lipschitz连续的Nesterov最优一阶方法，通过在每次迭代中动态增加步长参数 $\alpha_k > \sqrt{\rho}$，其中 $\rho$ 为条件数的倒数。该方法每轮迭代最多评估梯度两次，相较于Nesterov原始方法在实际中实现了更快的收敛速度，数值结果表明在平滑基追踪去噪问题中，梯度调用次数最多可减少2.5倍。

ABSTRACT

We modify Nesterov's constant step gradient method for strongly convex functions with Lipschitz continuous gradient described in Nesterov's book. Nesterov shows that $f(x_k) - f^* \leq L \prod_{i=1}^k (1 - α_k) \| x_0 - x^* \|_2^2$ with $α_k = \sqrtρ$ for all $k$, where $L$ is the Lipschitz gradient constant and $ρ$ is the reciprocal condition number of $f(x)$. Hence the convergence rate is $1-\sqrtρ$. In this work, we try to accelerate Nesterov's method by adaptively searching for an $α_k > \sqrtρ$ at each iteration. The proposed method evaluates the gradient function at most twice per iteration and has some extra Level 1 BLAS operations. Theoretically, in the worst case, it takes the same number of iterations as Nesterov's method does but doubles the gradient calls. However, in practice, the proposed method effectively accelerates the speed of convergence for many problems including a smoothed basis pursuit denoising problem.

研究动机与目标

• 改进Nesterov最优一阶方法在强凸函数且梯度Lipschitz连续条件下的实际收敛速度。
• 解决Nesterov方法的局限性：其使用固定步长参数 $\alpha_k = \sqrt{\rho}$，尽管在最坏情况下的复杂度是最优的，但在实际应用中表现欠佳。
• 开发一种实用的加速策略，在保持理论保证的同时，通过自适应步长选择提升实际性能。
• 评估并比较多种启发式方法选择 $\alpha_k > \sqrt{\rho}$ 的效果，以在收敛速度与稳定性之间取得平衡。

提出的方法

• 该方法通过允许每轮迭代中 $\alpha_k > \sqrt{\rho}$，对Nesterov原始估计序列框架进行修改，以加速收敛。
• 在每轮迭代中，算法自适应地搜索 $\alpha_k > \sqrt{\rho}$，同时保持估计序列结构，确保收敛性。
• 该方法每轮迭代最多进行两次梯度评估，并包含额外的Level 1 BLAS操作用于向量更新。
• 提出了四种启发式策略用于选择 $\alpha_k$，包括保守型、激进型以及基于线搜索的方法。
• $x_k$ 和 $y_k$ 的更新规则遵循Nesterov原始方案，保留了方法的理论基础，同时支持自适应步长。
• 该方法应用于平滑基追踪去噪问题，以在真实世界的稀疏恢复任务中评估性能。

实验结果

研究问题

• RQ1 在Nesterov方法中自适应选择 $\alpha_k > \sqrt{\rho}$ 是否能在不牺牲理论收敛保证的前提下实现更快的实际收敛？
• RQ2 不同启发式策略在选择 $\alpha_k$ 时，其在不同问题类型下的收敛速度与鲁棒性表现如何比较？
• RQ3 与Nesterov原始方法相比，所提方法是否能减少达到给定精度所需的梯度评估次数？
• RQ4 当采用激进的步长增加策略时，自适应方法是否能保持稳定性并避免发散？

主要发现

• 所提方法 $\mathcal{N}_{\mu,L}^{\alpha}$ 的实际收敛速度优于Nesterov原始方法 $\mathcal{N}_{\mu,L}$，在平滑基追踪去噪问题中仅需750次梯度调用即可使 $f(x_k) - f^* < 10^{-12}$。
• Nesterov原始方法 $\mathcal{N}_{\mu,L}$ 达到相同精度需1300次梯度调用，而标准梯度下降方法 $\mathcal{N}_L$ 需1900次调用。
• $\mathcal{N}_{\mu,L}^{\alpha}$ 的运行时间约为5秒，而 $\mathcal{N}_{\mu,L}$ 为7.5秒，$\mathcal{N}_L$ 为11.5秒。
• 在 $\mathcal{N}_{\mu,L}^{\alpha}$ 的四种变体中，第一种启发式策略 ($\mathcal{N}_{\mu,L}^{\alpha,1}$) 最为保守，在所有测试问题中表现稳定且接近最优，因此被推荐作为默认设置。
• 该方法保持了理论上的最坏情况收敛速率，但由于自适应步长选择，在实际中显著优于Nesterov方法。
• 由 $\mathcal{N}_{\mu,L}^{\alpha}$ 求解的平滑-BPDN解与真实稀疏信号的软阈值版本非常接近，表明其在稀疏恢复任务中具有实际应用价值。