[论文解读] Coordinate Descent Converges Faster with the Gauss-Southwell Rule Than Random Selection

Julie Nutini, Mark Schmidt+3 more|arXiv (Cornell University)|Jun 1, 2015

Sparse and Compressive Sensing Techniques参考文献 28被引用 93

一句话总结

本文证明，在标准的光滑性和强凸性假设下，高斯-索普威尔（GS）坐标下降规则的收敛速度优于随机选择，这与早期理论结果所暗示的等价性相反。本文提出了基于梯度Lipschitz常数的GS-Lipschitz（GSL）规则，并证明了其更快的收敛速率，尤其在精确坐标优化的稀疏问题中表现更优，同时分析了近似和近端变体。

ABSTRACT

There has been significant recent work on the theory and application of randomized coordinate descent algorithms, beginning with the work of Nesterov [SIAM J. Optim., 22(2), 2012], who showed that a random-coordinate selection rule achieves the same convergence rate as the Gauss-Southwell selection rule. This result suggests that we should never use the Gauss-Southwell rule, as it is typically much more expensive than random selection. However, the empirical behaviours of these algorithms contradict this theoretical result: in applications where the computational costs of the selection rules are comparable, the Gauss-Southwell selection rule tends to perform substantially better than random coordinate selection. We give a simple analysis of the Gauss-Southwell rule showing that---except in extreme cases---its convergence rate is faster than choosing random coordinates. Further, in this work we (i) show that exact coordinate optimization improves the convergence rate for certain sparse problems, (ii) propose a Gauss-Southwell-Lipschitz rule that gives an even faster convergence rate given knowledge of the Lipschitz constants of the partial derivatives, (iii) analyze the effect of approximate Gauss-Southwell rules, and (iv) analyze proximal-gradient variants of the Gauss-Southwell rule.

研究动机与目标

• 解决坐标下降中高斯-索普威尔（GS）规则相较于随机坐标选择在理论上的等价性与实际性能优越性之间的矛盾。
• 提供更紧密的理论分析，表明GS在除极端情况外均快于随机选择。
• 在稀疏性约束下，为精确坐标优化建立可证明的收敛速率改进。
• 提出并分析基于已知梯度Lipschitz常数的高斯-索普威尔-Lipschitz（GSL）规则，以实现更快收敛。
• 研究近似GS规则和近端-梯度变体在具有可分非光滑正则项问题中的性能。

提出的方法

• 在强凸性和光滑性假设下，对GS规则进行更紧密的收敛性分析，表明其在退化情况外优于随机选择。
• 提出高斯-索普威尔-Lipschitz（GSL）规则，根据部分梯度的局部Lipschitz常数选择坐标，以加速收敛。
• 分析稀疏问题中的精确坐标优化，证明其收敛速率快于固定步长更新。
• 开发并评估近似GS规则，以在计算成本与收敛速度之间取得平衡。
• 将GS规则扩展至具有可分非光滑项（如ℓ1正则化）的近端-梯度方法。
• 使用最大堆数据结构高效实现稀疏图中度数有界的GS，实现每次选择O(d log n)的时间复杂度。

实验结果

研究问题

• RQ1 高斯-索普威尔规则在实践中是否比随机坐标选择收敛更快，且这种性能能否在理论上得到解释？
• RQ2 对于满足稀疏性约束的问题，精确坐标优化是否能提供可证明快于固定步长更新的收敛速率？
• RQ3 将梯度Lipschitz常数纳入选择规则，是否能获得快于标准GS或随机选择的收敛速率？
• RQ4 近似GS规则在性能和收敛速度上与精确和随机变体相比如何？
• RQ5 GS规则能否有效扩展至具有非光滑、可分正则化项的近端-梯度方法？

主要发现

• 在标准光滑性和强凸性假设下，高斯-索普威尔规则的收敛速度优于随机坐标选择，这与早期理论认为二者等价的结论相反。
• 对于满足稀疏性约束的问题，精确坐标优化的收敛速率可被证明快于固定步长更新。
• 所提出的高斯-索普威尔-Lipschitz（GSL）规则通过利用已知的梯度Lipschitz常数，实现了快于随机选择和标准GS规则的收敛速率。
• 在数值实验中，GS和GSL规则在单位时间内实现的目标准确度提升优于随机选择，即使使用朴素的Python实现。
• GS-qr和GS-qs规则满足理论收敛界，而GS-r规则不满足，表明更新规则的选择显著影响收敛行为。
• 近似GS规则提供了可行的折中方案，在计算成本低于精确GS的同时，性能优于随机选择。