[论文解读] A single potential governing convergence of conjugate gradient, accelerated gradient and geometric descent

Sahar Karimi, Stephen A. Vavasis|arXiv (Cornell University)|Dec 27, 2017

Sparse and Compressive Sensing Techniques参考文献 15被引用 9

一句话总结

本文通过识别一个单一的、可计算的势函数，实现了对共轭梯度（CG）、加速梯度（AG）和几何下降（GD）方法的统一收敛性分析，该势函数每轮迭代至少减少 $1 - √{\ell/L}$。该势函数统一控制了三种算法的收敛性，从而实现了一种混合方法（HyNCG），该方法在二次问题中继承了CG的效率，同时在一般光滑强凸函数上实现了最优的 $O(\sqrt{L/\ell}\log(1/\epsilon))$ 迭代复杂度。

ABSTRACT

Nesterov's accelerated gradient (AG) method for minimizing a smooth strongly convex function $f$ is known to reduce $f({\bf x}_k)-f({\bf x}^*)$ by a factor of $ε\in(0,1)$ after $k=O(\sqrt{L/\ell}\log(1/ε))$ iterations, where $\ell,L$ are the two parameters of smooth strong convexity. Furthermore, it is known that this is the best possible complexity in the function-gradient oracle model of computation. Modulo a line search, the geometric descent (GD) method of Bubeck, Lee and Singh has the same bound for this class of functions. The method of linear conjugate gradients (CG) also satisfies the same complexity bound in the special case of strongly convex quadratic functions, but in this special case it can be faster than the AG and GD methods. Despite similarities in the algorithms and their asymptotic convergence rates, the conventional analysis of the running time of CG is mostly disjoint from that of AG and GD. The analyses of the AG and GD methods are also rather distinct. Our main result is analyses of the three methods that share several common threads: all three analyses show a relationship to a certain "idealized algorithm", all three establish the convergence rate through the use of the Bubeck-Lee-Singh geometric lemma, and all three have the same potential that is computable at run-time and exhibits decrease by a factor of $1-\sqrt{\ell/L}$ or better per iteration. One application of these analyses is that they open the possibility of hybrid or intermediate algorithms. One such algorithm is proposed herein and is shown to perform well in computational tests.

研究动机与目标

• 统一分析三种主流一阶方法：共轭梯度（CG）、加速梯度（AG）和几何下降（GD）的收敛性。
• 识别一个共同的、运行时可计算的势函数，该函数控制所有三种算法的收敛性。
• 证明所有三种方法均通过相同的底层几何引理和势函数，实现相同的最优迭代复杂度 $O(\sqrt{L/\ell}\log(1/\epsilon))$。
• 设计一种混合算法，结合CG和AG/GD的优势，实现在不预先知晓 $\ell$ 和 $L$ 的情况下达到最优复杂度。
• 为一种新型混合方法（HyNCG）提供理论和实证支持，该方法基于势函数下降选择步长，优于其他选择标准。

提出的方法

• 提出一个共同的势函数 $\tilde{\sigma}_k^2$，其界定了到最优解的距离和函数间隙，满足 $\tilde{\sigma}_k^2 \geq \|\bm{y}_k - \bm{x}^*\|^2 + \frac{2(f(\bm{x}_k) - f(\bm{x}^*))}{\ell}$。
• 利用 Bubeck-Lee-Singh 几何引理，建立 $\tilde{\sigma}_{k+1}^2 \leq \left(1 - \sqrt{\ell/L}\right)\tilde{\sigma}_k^2$，确保以最优速率实现全局收敛。
• 定义一个理想化的不可实现算法，作为通过相同势函数分析CG、AG和GD收敛性的参考。
• 设计一种混合算法（HyNCG），在每轮迭代中同时计算CG和GD的步长，并选择使势函数 $\tilde{\sigma}_k$ 降低最多的步长，避免昂贵的线搜索。
• 在合成问题上实现并测试HyNCG，与AG、GD和NCG进行比较，使用势函数作为选择标准，而非梯度范数或函数值。
• 在GD和HyNCG中使用精确线搜索，AG使用外层迭代；报告包括内层线搜索步骤在内的总迭代次数。

实验结果

研究问题

• RQ1 能否通过一个单一的、运行时可计算的势函数，解释CG、AG和GD方法在光滑强凸函数上的收敛性？
• RQ2 CG、AG和GD是否均通过共享的几何引理和势函数，实现相同的最优迭代复杂度 $O(\sqrt{L/\ell}\log(1/\epsilon))$？
• RQ3 能否构建一种混合算法，使其在二次问题中继承CG的效率，同时在一般情况下保持AG和GD的最优复杂度？
• RQ4 在实践中，基于势函数下降选择步长是否优于基于梯度范数或函数值的选择？
• RQ5 为何在HL测试套件中，GD和AG的迭代次数几乎不随 $\lambda$ 变化，而AG的代价却随 $\lambda$ 减小而显著增加？

主要发现

• 一个单一的势函数 $\tilde{\sigma}_k^2$ 控制了CG、AG和GD的收敛性，每轮迭代满足 $\tilde{\sigma}_{k+1}^2 \leq \left(1 - \sqrt{\ell/L}\right)\tilde{\sigma}_k^2$。
• 基于势函数下降选择步长的混合算法HyNCG在所有测试案例中均优于AG和GD，通常快2倍或以上。
• 在 $n=262144$ 的ABPDN问题中，HyNCG仅需123次迭代，而AG需34,758次，NCG需488次，显示出显著的效率优势。
• 在HL测试套件中，无论 $\lambda$ 如何，HyNCG均仅需37至44次迭代，而AG的代价随 $\lambda$ 减小而显著上升，表明其鲁棒性。
• 基于势函数的混合方法（HyNCG）优于基于梯度范数（HyNCG/gr）和函数值（HyNCG/f）的混合方法，后者在某些情况下甚至需要高达250,000次迭代。
• 基于势函数的选择避免了评估备选步长，使HyNCG比HyNCG/gr和HyNCG/f更高效，后者每轮迭代需进行两次评估。