[论文解读] Large-scale randomized-coordinate descent methods with non-separable linear constraints

Sashank J. Reddi, Ahmed Hefny+3 more|arXiv (Cornell University)|Sep 9, 2014

Stochastic Gradient Optimization Techniques参考文献 32被引用 10

一句话总结

本文提出了一种用于大规模凸优化中非可分线性约束的随机化块坐标下降方法，能够高效求解支持向量机对偶问题和融合Lasso等问题。该方法实现了与约束数量无关的全局迭代复杂度，克服了先前工作中存在的指数级依赖问题，并提出了新颖的异步与随机化变体，具备收敛性保证。

ABSTRACT

We develop randomized (block) coordinate descent (CD) methods for linearly constrained convex optimization. Unlike most CD methods, we do not assume the constraints to be separable, but let them be coupled linearly. To our knowledge, ours is the first CD method that allows linear coupling constraints, without making the global iteration complexity have an exponential dependence on the number of constraints. We present algorithms and analysis for four key problem scenarios: (i) smooth; (ii) smooth + nonsmooth separable; (iii) asynchronous parallel; and (iv) stochastic. We illustrate empirical behavior of our algorithms by simulation experiments.

研究动机与目标

• 开发一种随机化块坐标下降方法，能够处理非可分线性约束，且不依赖于约束数量的指数级增长。
• 在耦合线性约束下，将坐标下降方法扩展至复合、随机化和异步设置。
• 提供理论收敛保证，且迭代复杂度与约束数量无关。
• 实现大规模机器学习问题（如SVM对偶问题和组Lasso）的实际可扩展性。
• 克服先前CD方法在处理多个线性约束时存在的指数级复杂度瓶颈。

提出的方法

• 提出一种随机化块-CD框架，根据约束矩阵 $ A \in \mathbb{R}^{m \times n} $ 的结构对变量进行划分，允许非可分耦合。
• 采用对偶上升方法，通过修改后的子问题在更新变量块的同时保持可行性。
• 采用随机化块选择规则，并对光滑和复合目标函数进行收敛性分析。
• 在异步变体中使用自旋锁（spinlock）同步机制，以减少争用并提升加速比。
• 通过使用原始权重向量实现梯度的即时计算，避免存储Gram矩阵。
• 在SVM对偶问题的盒约束中采用双锁机制（double-locking），以在并行更新过程中保持可行性。

实验结果

研究问题

• RQ1 随机化块坐标下降能否被扩展至具有非可分线性约束的问题，同时保持多项式迭代复杂度？
• RQ2 所提出的方法是否避免了先前工作中在约束数量上存在的指数级依赖？
• RQ3 该框架能否被扩展至具有收敛性保证的异步与随机化设置？
• RQ4 所提出方法在大规模机器学习问题上的实际性能如何？
• RQ5 该方法能否在不依赖于 $ m $ 或 $ b $ 的指数级增长的前提下实现 $ O(1/k) $ 的收敛速率？

主要发现

• 所提出方法在 $ m \geq 1 $ 个线性约束下，对光滑问题实现了与 $ m $ 无关的 $ O(1/\epsilon) $ 全局迭代复杂度。
• 对于包含可分非光滑项的复合情形，收敛速率优于先前工作，尤其在和约束条件下表现更优。
• 异步变体相比同步版本实现了显著更高的加速比，尤其在高争用拓扑结构（如星型+环形）中表现突出。
• 在 a7a 和 w8a 数据集上，该并行CD方法在特征重叠稀疏且更新为原子操作时，实现了显著的加速比（最高达15倍）。
• 通过双锁机制和原子操作，算法在并发更新下仍能保持可行性与收敛性。
• 实验结果表明，异步方法在加速比和运行时间方面均优于同步版本，尤其在分布式环境中表现更优。