[论文解读] A unified convergence bound for conjugate gradient and accelerated gradient

Sahar Karimi, Stephen A. Vavasis|arXiv (Cornell University)|May 1, 2016

Sparse and Compressive Sensing Techniques参考文献 11被引用 5

一句话总结

本文通过引入一个单一的势函数，实现了对共轭梯度（CG）和加速梯度方法的统一收敛性分析，该势函数在两种算法中每迭代一次均以因子 $1/(1 + \sqrt{\ell/L})$ 递减。关键贡献在于，对线性共轭梯度方法给出了 $O(\sqrt{L/\ell} \log(1/\epsilon))$ 收敛速率的直接证明，避免了依赖Krylov子空间最优性推导的间接证明方法。

ABSTRACT

Nesterov's accelerated gradient method for minimizing a smooth strongly convex function $f$ is known to reduce $f(\x_k)-f(\x^*)$ by a factor of $\eps\in(0,1)$ after $k\ge O(\sqrt{L/\ell}\log(1/\eps))$ iterations, where $\ell,L$ are the two parameters of smooth strong convexity. Furthermore, it is known that this is the best possible complexity in the function-gradient oracle model of computation. The method of linear conjugate gradients (CG) also satisfies the same complexity bound in the special case of strongly convex quadratic functions, but in this special case it is faster than the accelerated gradient method. Despite similarities in the algorithms and their asymptotic convergence rates, the conventional analyses of the two methods are nearly disjoint. The purpose of this note is provide a single quantity that decreases on every step at the correct rate for both algorithms. Our unified bound is based on a potential similar to the potential in Nesterov's original analysis. As a side benefit of this analysis, we provide a direct proof that conjugate gradient converges in $O(\sqrt{L/\ell}\log(1/\eps))$ iterations. In contrast, the traditional indirect proof first establishes this result for the Chebyshev algorithm, and then relies on optimality of conjugate gradient to show that its iterates are at least as good as Chebyshev iterates. To the best of our knowledge, ours is the first direct proof of the convergence rate of linear conjugate gradient in the literature.

研究动机与目标

• 通过单一势函数统一共轭梯度与加速梯度方法的收敛性分析。
• 为线性共轭梯度方法提供 $O(\sqrt{L/\ell} \log(1/\epsilon))$ 收敛速率的直接证明，避免依赖于间接最优性论证。
• 通过引入一个可测量且单调递减至最优速率的势函数，实现对新型CG变体收敛性的实用监控。
• 为开发具有与加速梯度方法相当全局收敛保证的新非线性共轭梯度方法奠定基础。

提出的方法

• 定义一个势函数 $\Psi_k$，将到解的平方距离与目标函数残差结合，并以 $\ell/2$ 缩放。
• 利用递推关系与强凸性性质，证明对于CG和加速梯度方法均有 $\Psi_{k+1} \leq \Psi_k / (1 + \sqrt{\ell/L})$。
• 通过分析更新规则并利用光滑性参数 $L$ 与强凸性参数 $\ell$，证明该势函数以最优速率递减。
• 单独处理 $k=0$ 情况，证明 $\Psi_1 \leq \Psi_0$ 以启动递推关系。
• 利用势函数的递减性，推导出两种方法的 $O(\sqrt{L/\ell} \log(1/\epsilon))$ 收敛界。
• 通过监测其稳定递减，证明该势函数可用于检测新型CG实现中因舍入误差等引起的非精确性。

实验结果

研究问题

• RQ1 能否构造一个单一势函数，使其在共轭梯度与加速梯度方法中均以最优速率递减？
• RQ2 是否存在对线性共轭梯度方法 $O(\sqrt{L/\ell} \log(1/\epsilon))$ 收敛速率的直接证明，且不依赖于Krylov子空间最优性？
• RQ3 该统一势函数能否用于诊断改进或非精确共轭梯度实现中的收敛问题？
• RQ4 该统一分析能否指导设计具有全局收敛保证的新非线性共轭梯度方法？

主要发现

• 所提出的势函数 $\Psi_k$ 在共轭梯度与加速梯度方法中每迭代一次均以因子 $1/(1 + \sqrt{\ell/L})$ 递减。
• 为线性共轭梯度方法建立了 $O(\sqrt{L/\ell} \log(1/\epsilon))$ 收敛速率的直接证明，避免了对Chebyshev或Krylov最优性的间接依赖。
• 势函数 $\Psi_k$ 确保 $f(\mathbf{x}_k) - f(\mathbf{x}^*) \leq C_0 (1 + \sqrt{\ell/L})^{-(k-1)}$，与加速梯度方法的已知最优速率一致。
• 该势函数可作为测试新型CG算法时的诊断工具，若其未按预期速率递减，则表明存在非精确性或不稳定性。
• 该分析为开发新非线性CG方法提供了基础，使其继承加速梯度方法的收敛特性，同时在二次问题下退化为线性CG方法。