[论文解读] Approximate Steepest Coordinate Descent

Sebastian U. Stich, Anant Raj+1 more|arXiv (Cornell University)|Jun 26, 2017

Stochastic Gradient Optimization Techniques被引用 11

一句话总结

本文提出了近似最速坐标下降法（Approximate Steepest Coordinate Descent, ASCD），这是一种新型的坐标选择规则，用于坐标下降算法，其通过可证明优于均匀随机选择的收敛性，近似实现了最速坐标下降（Steepest Coordinate Descent, SCD）的性能。ASCD 维护一个梯度近似值，并选择梯度幅值较大的坐标，从而在许多场景下以接近均匀的成本实现接近 SCD 的性能，具备理论保证，并在 Lasso 和 Ridge 回归任务上得到实证验证。

ABSTRACT

We propose a new selection rule for the coordinate selection in coordinate descent methods for huge-scale optimization. The efficiency of this novel scheme is provably better than the efficiency of uniformly random selection, and can reach the efficiency of steepest coordinate descent (SCD), enabling an acceleration of a factor of up to $n$, the number of coordinates. In many practical applications, our scheme can be implemented at no extra cost and computational efficiency very close to the faster uniform selection. Numerical experiments with Lasso and Ridge regression show promising improvements, in line with our theoretical guarantees.

研究动机与目标

• 开发一种坐标选择规则，使坐标下降方法在不需在每次迭代中计算完整梯度的情况下，实现接近最速坐标下降（SCD）的性能。
• 确保新方法 ASCD 在收敛速度上始终优于均匀随机坐标选择（UCD）。
• 通过维护一种低成本更新的梯度近似，实现在大规模优化中部署类似 SCD 的性能。
• 通过理论分析与实证验证，证明 ASCD 可实现接近 SCD 的收敛速度，同时在实际应用中具备计算效率。

提出的方法

• ASCD 维护一个可增量更新的近似梯度向量，以低开销避免每次迭代都重新计算完整梯度。
• 活跃坐标从具有较大绝对梯度值的坐标子集中选取，遵循基于近似值的高斯-索尔茨韦尔（Gauss-Southwell）型规则。
• 采用安全选择规则，确保即使在梯度近似不准确的情况下，所选坐标仍能提供至少与均匀随机选择相当的进展。
• 该方法支持光滑与复合凸优化问题，且可扩展至块坐标与随机设置。
• 一种启发式变体 a-ASCD 通过使用松弛选择规则加速活跃集计算，但不提供理论保证。
• 算法采用固定或精确线搜索步长，实践中通过稀疏矩阵运算高效实现梯度预言机。

实验结果

研究问题

• RQ1 能否设计一种坐标下降方法，在避免每次迭代计算完整梯度的前提下，实现与最速坐标下降（SCD）相当的收敛速度？
• RQ2 是否可能设计一种选择规则，即使在梯度近似不准确时，也能可证明地优于均匀随机坐标选择（UCD）？
• RQ3 在哪些实际优化问题中，可以以零额外计算成本维护梯度近似？
• RQ4 在 Lasso 和 Ridge 回归等实际机器学习问题中，ASCD 的性能与 SCD 和 UCD 相比如何？
• RQ5 能否从初始近似值（即使误差无穷大）中有效学习活跃集？这是否影响收敛性？

主要发现

• ASCD 在收敛速度上可证明优于均匀随机坐标下降（UCD），且该结论不依赖于梯度近似的准确性。
• ASCD 可实现接近最速坐标下降（SCD）的收敛速度，潜在加速因子可达 n（坐标数量）。
• 在 RCV1 数据集上，ASCD 即使使用非常粗糙的梯度预言机，也能在单个周期内迅速收敛，并识别出仅占 0.1% 坐标的真正小活跃集。
• 启发式变体 a-ASCD 在实践中表现几乎与 ASCD 相同，有时甚至略优，尽管缺乏理论保证。
• 使用真实梯度初始化并非必需；ASCD 能够从任意或不准确的初始近似中有效学习活跃集。
• 更高精度的梯度预言机对收敛速度的提升微乎其微，表明 ASCD 对近似误差具有鲁棒性，且在实际中具有高效性。