[论文解读] Accelerating Greedy Coordinate Descent Methods

Haihao Lu, Robert M. Freund+1 more|arXiv (Cornell University)|Jun 7, 2018

Stochastic Gradient Optimization Techniques参考文献 20被引用 10

一句话总结

本文提出了两种加速坐标下降算法——加速半贪婪坐标下降（ASCD）与加速贪婪坐标下降（AGCD），以实现 O(1/k²) 的收敛速度。ASCD 在强凸条件下理论上实现了 O(1/k²) 和加速线性收敛，而 AGCD 尽管缺乏理论保证，但在实验中表现优于其他方法，其成功可通过李雅普诺夫分析识别出一个技术性条件来解释，且该条件在实际中成立。

ABSTRACT

We study ways to accelerate greedy coordinate descent in theory and in practice, where "accelerate" refers either to $O(1/k^2)$ convergence in theory, in practice, or both. We introduce and study two algorithms: Accelerated Semi-Greedy Coordinate Descent (ASCD) and Accelerated Greedy Coordinate Descent (AGCD). While ASCD takes greedy steps in the $x$-updates and randomized steps in the $z$-updates, AGCD is a straightforward extension of standard greedy coordinate descent that only takes greedy steps. On the theory side, our main results are for ASCD: we show that ASCD achieves $O(1/k^2)$ convergence, and it also achieves accelerated linear convergence for strongly convex functions. On the empirical side, we observe that both AGCD and ASCD outperform Accelerated Randomized Coordinate Descent on a variety of instances. In particular, we note that AGCD significantly outperforms the other accelerated coordinate descent methods in numerical tests, in spite of a lack of theoretical guarantees for this method. To complement the empirical study of AGCD, we present a Lyapunov energy function argument that points to an explanation for why a direct extension of the acceleration proof for AGCD does not work; and we also introduce a technical condition under which AGCD is guaranteed to have accelerated convergence. Last of all, we confirm that this technical condition holds in our empirical study.

研究动机与目标

• 在理论与实践两方面加速贪婪坐标下降方法，实现 O(1/k²) 的收敛速率。
• 开发一种理论基础坚实的加速方法（ASCD），结合贪婪 x 更新与随机 z 更新。
• 通过实证证明，AGCD（一种纯贪婪扩展）虽缺乏理论保证，但仍优于现有加速方法。
• 通过李雅普诺夫能量函数分析解释 AGCD 实验成功的原因，并识别出其实现加速收敛的技术条件。
• 验证所提出的理论条件在实际优化实例中成立，从而解释观察到的性能提升。

提出的方法

• 提出 ASCD，其对 x 变量采用贪婪更新，对 z 变量采用随机更新，结合了内斯特罗夫加速与贪婪坐标选择的思想。
• 提出一种新颖的证明技术，表明在修改后的光滑性条件下，贪婪坐标步长可优于完整梯度步长。
• 应用李雅普诺夫能量函数分析来研究 AGCD 的收敛性，揭示为何标准加速证明方法在纯贪婪方法中失效。
• 引入一个技术条件，使得 AGCD 被保证实现 O(1/k²) 收敛，从而将理论与实验性能联系起来。
• 通过高效的坐标更新结构实现 AGCD 与 ASCD，利用预计算矩阵存储与逻辑回归中的秩-1 更新优化计算成本。
• 采用标准内斯特罗夫风格加速框架，适配贪婪与半贪婪场景，并在合成数据集与 LIBSVM 数据集上进行数值实验。

实验结果

研究问题

• RQ1 贪婪坐标下降能否在理论上实现 O(1/k²) 收敛？若能，其条件是什么？
• RQ2 为何 AGCD（一种纯贪婪方法）在实验中表现优于其他加速方法，尽管缺乏理论收敛保证？
• RQ3 何种技术条件使 AGCD 实现加速收敛？该条件在实际优化实例中是否成立？
• RQ4 ASCD 与 AGCD 在多种机器学习问题中，与 ARCD 和非加速 GCD 相比，其收敛速度与运行时间如何？
• RQ5 李雅普诺夫能量函数分析能否解释标准加速证明在贪婪更新背景下的失败原因？

主要发现

• ASCD 在理论上实现了 O(1/k²) 收敛，其新颖的证明技术表明，在修改后的光滑性条件下，贪婪步长可优于完整梯度步长。
• ASCD 在强凸函数下也实现了加速线性收敛，为加速贪婪方法提供了理论保证。
• AGCD 在大多数测试案例中实证表现优于 ARCD 与 ASCD，尤其在收敛迭代次数方面表现更优，尽管缺乏理论收敛界。
• 李雅普诺夫能量函数分析表明，标准加速证明方法在 AGCD 中失效，原因在于 x 与 z 序列之间的坐标选择不一致。
• AGCD 实现加速收敛所需的技术条件在多个数据集上被实证验证成立，从而解释了其出色的实用性能。
• 在逻辑回归实验中，AGCD 以最短运行时间达到最低的最优性间隙，而 ASCD 在大多数情况下优于 ARCD。