[论文解读] Efficient Greedy Coordinate Descent for Composite Problems

Sai Praneeth Karimireddy, Anastasiia Koloskova+2 more|arXiv (Cornell University)|Oct 16, 2018

Stochastic Gradient Optimization Techniques被引用 10

一句话总结

本文提出了一种针对非光滑复合优化问题（如Lasso和SVM）的高效贪心坐标下降方法，通过引入基于次梯度的新型最速坐标选择规则，实现了与维度n无关的线性收敛速率。该方法将坐标选择映射为最大内积搜索（MIPS）问题，从而利用近似最近邻算法实现可扩展的实现。实验表明，该方法在实际应用中相比均匀坐标下降实现了显著的速度提升。

ABSTRACT

Coordinate descent with random coordinate selection is the current state of the art for many large scale optimization problems. However, greedy selection of the steepest coordinate on smooth problems can yield convergence rates independent of the dimension $n$, and requiring upto $n$ times fewer iterations. In this paper, we consider greedy updates that are based on subgradients for a class of non-smooth composite problems, which includes $L1$-regularized problems, SVMs and related applications. For these problems we provide (i) the first linear rates of convergence independent of $n$, and show that our greedy update rule provides speedups similar to those obtained in the smooth case. This was previously conjectured to be true for a stronger greedy coordinate selection strategy. Furthermore, we show that (ii) our new selection rule can be mapped to instances of maximum inner product search, allowing to leverage standard nearest neighbor algorithms to speed up the implementation. We demonstrate the validity of the approach through extensive numerical experiments.

研究动机与目标

• 为解决贪心坐标下降在非光滑复合优化问题中理论理解不足与实际效率低下的问题。
• 建立贪心方法在复合问题上的线性收敛速率，与光滑设置下的结果类似，且独立于问题维度n。
• 通过将最速坐标选择映射为最大内积搜索（MIPS），实现贪心坐标下降的可扩展实现。
• 通过大量实验表明，所提方法在迭代次数和实际运行时间上均优于均匀坐标下降。
• 分析近似贪心方向与自适应子集选择对收敛性和性能的影响。

提出的方法

• 提出基于次梯度的高斯-索尔特韦尔（GS-s）规则作为复合问题的贪心坐标选择策略。
• 证明GS-s规则在一类复合问题上的线性收敛速率，表明其与维度n无关。
• 将最速坐标计算映射为最大内积搜索（MIPS）问题，从而可利用高效的近似算法（如LSH和nmslib）。
• 采用自适应子集选择以降低计算成本，同时保持性能，且理论证明其对精度的影响可忽略。
• 使用最先进的MIPS库（FALCONN、nmslib）实现并评估该方法，以实现可扩展且高效的优化。
• 分析贪心方向计算中近似对收敛性的影响，表明方法对中等程度误差具有鲁棒性。

实验结果

研究问题

• RQ1 贪心坐标下降能否在非光滑复合问题上实现与维度n无关的线性收敛速率？
• RQ2 GS-s贪心规则在Lasso和SVM等复合问题上是否可被严格证明优于均匀坐标下降？
• RQ3 最速坐标选择步骤能否通过现有的近似最近邻算法高效实现？
• RQ4 自适应子集选择如何影响贪心坐标下降方法的性能与收敛性？
• RQ5 在使用近似MIPS进行贪心选择时，迭代次数与实际运行时间之间的经验权衡如何？

主要发现

• 所提贪心坐标下降方法实现了与问题维度n无关的线性收敛速率，将最速下降在光滑问题中的理论优势扩展至复合问题。
• GS-s规则在迭代次数上显著优于均匀坐标下降，在某些情况下速度提升可达n倍，尤其在早期迭代中表现突出。
• 该方法在实际运行时间上表现具有竞争力，其中steepest-LSH和steepest-nn在早期阶段优于均匀下降，尤其在大规模问题上表现更优。
• 使用近似MIPS求解器（如FALCONN、nmslib）可实现可扩展实现，且自适应子集选择对解的质量影响可忽略。
• 数值实验表明，通过steepest-NN获得的解显著比均匀下降更稀疏，这对SVM等应用（支持向量更少）具有优势。
• 尽管进行了细致的超参数调优，nmslib和LSH-based MIPS求解器的性能仍落后于精确方法，表明在该设置下近似MIPS算法仍有改进空间。