[论文解读] Let's Make Block Coordinate Descent Converge Faster: Faster Greedy Rules, Message-Passing, Active-Set Complexity, and Superlinear Convergence

Julie Nutini, Issam Laradji+1 more|arXiv (Cornell University)|Dec 23, 2017

Sparse and Compressive Sensing Techniques被引用 12

一句话总结

该论文通过引入更快的贪心块选择规则、针对大稀疏块的高效消息传递机制，以及主动集复杂度分析，加速了块坐标下降（BCD）算法，实现了超线性收敛。通过利用问题结构和更紧的进展界，该方法在L1-正则化最小二乘、逻辑回归和标签传播问题中均实现了显著的速度提升。

ABSTRACT

Block coordinate descent (BCD) methods are widely used for large-scale numerical optimization because of their cheap iteration costs, low memory requirements, amenability to parallelization, and ability to exploit problem structure. Three main algorithmic choices influence the performance of BCD methods: the block partitioning strategy, the block selection rule, and the block update rule. In this paper we explore all three of these building blocks and propose variations for each that can significantly improve the progress made by each BCD iteration. We (i) propose new greedy block-selection strategies that guarantee more progress per iteration than the Gauss-Southwell rule; (ii) explore practical issues like how to implement the new rules when using "variable" blocks; (iii) explore the use of message-passing to compute matrix or Newton updates efficiently on huge blocks for problems with sparse dependencies between variables; and (iv) consider optimal active manifold identification, which leads to bounds on the "active-set complexity" of BCD methods and leads to superlinear convergence for certain problems with sparse solutions (and in some cases finite termination at an optimal solution). We support all of our findings with numerical results for the classic machine learning problems of least squares, logistic regression, multi-class logistic regression, label propagation, and L1-regularization.

研究动机与目标

• 解决块坐标下降（BCD）在大规模优化中关于块选择、划分和更新规则缺乏系统研究的问题。
• 通过提出新型贪心块选择策略，保证每次迭代的进展优于标准的高斯-苏尔维特规则，从而提升收敛速度。
• 利用稀疏依赖结构中的消息传递技术，实现对大块矩阵和牛顿更新的高效计算。
• 通过主动集复杂度分析，建立BCD实现超线性收敛或有限终止的条件，尤其针对稀疏解的情况。
• 在多种机器学习问题（包括LASSO、逻辑回归和标签传播）中提供实证验证。

提出的方法

• 提出广义的贪心块选择规则，引入Lipschitz常数（扩展高斯-苏尔维特-Lipschitz规则），以确保每次迭代的进展更大。
• 引入消息传递算法，通过利用变量之间的稀疏依赖关系，高效计算大块上的矩阵或牛顿更新。
• 构建主动集复杂度分析框架，表明BCD可快速识别最优主动流形，从而实现超线性收敛。
• 实现可变块和固定块划分策略，并对块形成过程中Lipschitz常数的排序、平均化和排序方法进行实证评估。
• 使用线搜索和近端更新，结合投影牛顿法和两度量投影方法，处理L1正则化等非光滑问题。
• 引入Lipschitz常数（$L_b$）的实用近似方法，以在精确值难以计算时提升性能。

实验结果

研究问题

• RQ1 结合Lipschitz信息的贪心块选择规则是否在每次迭代的进展上优于标准的高斯-苏尔维特规则？
• RQ2 如何利用消息传递技术在BCD中高效计算大而稀疏结构块上的更新？
• RQ3 BCD在何种条件下实现超线性收敛？主动集复杂度如何界定以解释该行为？
• RQ4 不同的块划分策略（固定与可变、排序方法）如何影响贪心BCD的性能？
• RQ5 随机块选择规则在稀疏问题上性能为何下降？是否可通过更智能的选择策略加以缓解？

主要发现

• 所提出的结合Lipschitz常数的贪心块选择规则在所有测试问题中均一致优于高斯-苏尔维特规则，实现了更快的收敛速度。
• 消息传递机制使得在大块上高效计算矩阵和牛顿更新成为可能，尤其在具有格点或最近邻结构的稀疏问题（如标签传播）中表现优异。
• 在具有稀疏解的问题（如L1-正则化最小二乘）中观察到超线性收敛，原因在于主动集的快速识别。
• 在某些情况下实现了在最优解处的有限终止，这得益于精确的主动集检测，且得到主动集复杂度界的支持。
• 对于大块大小，Lipschitz近似过程（LA）显著优于朴素的上界估计，尤其当全局$L_b$估计较松时。
• 在稀疏问题上，随机块选择性能较差，原因在于反复选择非活跃或已为零的变量，表现为步进式的收敛曲线。