[论文解读] Let's Make Block Coordinate Descent Go Fast: Faster Greedy Rules, Message-Passing, Active-Set Complexity, and Superlinear Convergence

Julie Nutini, Issam Laradji+1 more|arXiv (Cornell University)|Dec 23, 2017

Sparse and Compressive Sensing Techniques参考文献 85被引用 29

一句话总结

该论文通过新颖的贪心块选择规则显著加速了块坐标下降（BCD）方法，其性能优于高斯-苏尔维特规则；采用高效的消息传递算法处理大规模稀疏块；建立了活跃集的复杂度边界；并通过最优流形识别实现了超线性收敛——在最小二乘、逻辑回归及L1-正则化问题上均实现了显著加速。

ABSTRACT

Block coordinate descent (BCD) methods are widely-used for large-scale numerical optimization because of their cheap iteration costs, low memory requirements, amenability to parallelization, and ability to exploit problem structure. Three main algorithmic choices influence the performance of BCD methods: the block partitioning strategy, the block selection rule, and the block update rule. In this paper we explore all three of these building blocks and propose variations for each that can lead to significantly faster BCD methods. We (i) propose new greedy block-selection strategies that guarantee more progress per iteration than the Gauss-Southwell rule; (ii) explore practical issues like how to implement the new rules when using variable blocks; (iii) explore the use of message-passing to compute matrix or Newton updates efficiently on huge blocks for problems with a sparse dependency between variables; and (iv) consider optimal manifold identification, which leads to bounds on the active set complexity of BCD methods and leads to superlinear convergence for certain problems with sparse solutions (and in some cases finite termination at an optimal solution). We support all of our findings with numerical results for the classic machine learning problems of least squares, logistic regression, multi-class logistic regression, label propagation, and L1-regularization.

研究动机与目标

• 提升大规模优化中块坐标下降（BCD）方法的收敛速度。
• 开发新型贪心块选择策略，确保每轮迭代的进展优于高斯-苏尔维特等现有规则。
• 通过利用变量依赖结构中的稀疏性，实现高效的消息传递，以在大块上计算矩阵或牛顿更新。
• 建立活跃集复杂度的理论边界，并确定BCD实现超线性收敛的条件。
• 在关键机器学习问题（包括L1-正则化回归和逻辑回归）中展示实际性能提升。

提出的方法

• 提出新的贪心块选择规则，基于预测进展优先选择块，确保收敛速度优于高斯-苏尔维特规则。
• 引入消息传递技术，通过利用变量依赖结构中的稀疏性，高效计算大块上的更新。
• 利用流形识别分析活跃集复杂度，表明在特定条件下BCD可在有限时间内识别最优活跃集。
• 推导出BCD实现超线性收敛的条件，尤其针对具有稀疏解的问题。
• 将所提规则适配可变块大小，并在实践中实现高效实现。
• 通过在最小二乘、逻辑回归、多分类逻辑回归、标签传播及L1-正则化问题上的数值实验，验证理论结论。

实验结果

研究问题

• RQ1 能否设计出贪心块选择规则，使其每轮迭代的进展优于高斯-苏尔维特规则？
• RQ2 如何利用消息传递技术高效计算BCD中大规模稀疏块的更新？
• RQ3 BCD的理论活跃集复杂度是多少？在何种条件下可实现有限时间终止？
• RQ4 在何种条件下BCD可实现超线性收敛，尤其是针对稀疏解的问题？
• RQ5 所提方法能否在多种机器学习问题中实现显著加速？

主要发现

• 所提贪心块选择规则在每轮迭代的进展上始终优于高斯-苏尔维特规则，从而实现更快收敛。
• 消息传递技术可高效计算大块上的矩阵或牛顿更新，显著降低稀疏问题的计算成本。
• 建立了活跃集复杂度边界，表明在有利条件下BCD可在有限时间内识别最优活跃集。
• 对于具有稀疏解的问题，BCD实现了超线性收敛，部分情况下观察到有限终止。
• 数值实验结果表明，所有测试问题（包括最小二乘、逻辑回归及L1-正则化问题）均实现了显著加速。
• 所提方法具有良好的可扩展性，内存占用低，保持了BCD在大规模场景下的核心优势。