[论文解读] Faster Parallel Solver for Positive Linear Programs via Dynamically-Bucketed Selective Coordinate Descent

Di Wang, Michael W. Mahoney+2 more|arXiv (Cornell University)|Nov 20, 2015

Stochastic Gradient Optimization Techniques参考文献 29被引用 5

一句话总结

本文提出了一种新颖的并行算法，用于通过动态分桶选择性坐标下降（DB-SCD）求解正线性规划问题，将打包和覆盖LP的收敛时间提升至Õ(1/ε²)。通过将具有相似梯度大小的坐标分组并选择性地更新，该方法减少了干扰，相较于以往具有Õ(1/ε³)依赖关系的方法，实现了更快、更稳定的收敛。

ABSTRACT

We provide improved parallel approximation algorithms for the important class of packing and covering linear programs. In particular, we present new parallel $ε$-approximate packing and covering solvers which run in $ ilde{O}(1/ε^2)$ expected time, i.e., in expectation they take $ ilde{O}(1/ε^2)$ iterations and they do $ ilde{O}(N/ε^2)$ total work, where $N$ is the size of the constraint matrix and $ε$ is the error parameter, and where the $ ilde{O}$ hides logarithmic factors. To achieve our improvement, we introduce an algorithmic technique of broader interest: dynamically-bucketed selective coordinate descent (DB-SCD). At each step of the iterative optimization algorithm, the DB-SCD method dynamically buckets the coordinates of the gradient into those of roughly equal magnitude, and it updates all the coordinates in one of the buckets. This dynamically-bucketed updating permits us to take steps along several coordinates with similar-sized gradients, thereby permitting more appropriate step sizes at each step of the algorithm. In particular, this technique allows us to use in a straightforward manner the recent analysis from the breakthrough results of Allen-Zhu and Orecchia [2] to achieve our still-further improved bounds. More generally, this method addresses "interference" among coordinates, by which we mean the impact of the update of one coordinate on the gradients of other coordinates. Such interference is a core issue in parallelizing optimization routines that rely on smoothness properties. Since our DB-SCD method reduces interference via updating a selective subset of variables at each iteration, we expect it may also have more general applicability in optimization.

研究动机与目标

• 开发更快的正线性规划并行近似算法，特别是针对打包和覆盖LP。
• 将总工作量和迭代次数对误差参数ε的依赖关系从Õ(1/ε³)降低至Õ(1/ε²)。
• 通过选择性地更新具有相似梯度大小的变量组，减少并行优化中坐标之间的干扰。
• 通过利用动态梯度分桶和一阶优化技术，实现高效、可扩展的大规模LP求解。

提出的方法

• 提出动态分桶选择性坐标下降（DB-SCD），在每次迭代中根据梯度大小将坐标划分为若干桶。
• 每次迭代中选择性地更新单个桶内的所有坐标，从而实现更大、更受控的步长，减少干扰。
• 使用平滑技术将非光滑LP转化为适合一阶方法的光滑凸优化问题。
• 应用Allen-Zhu与Orecchia（2015）的最新理论进展，在DB-SCD框架下实现更紧致的收敛界。
• 采用随机舍入与校正步骤，确保优化后解的可行性与近似保证。
• 采用两阶段方法：首先使用DB-SCD优化平滑对偶问题；其次通过具有有界成本的后处理步骤校正不可行约束。

实验结果

研究问题

• RQ1 我们能否在并行打包和覆盖LP中实现Õ(1/ε²)的收敛时间，从而优于先前的Õ(1/ε³)界限？
• RQ2 在非光滑问题的一阶优化中，如何减少并行更新时坐标之间的干扰？
• RQ3 动态分桶梯度大小是否能实现大规模优化中更有效、更稳定的坐标更新？
• RQ4 DB-SCD方法是否可推广至正LP以外的其他光滑、非光滑或结构化优化问题类别？
• RQ5 DB-SCD优化后校正不可行约束的预期成本是多少，且能否在期望下有界？

主要发现

• 所提出的DB-SCD算法对打包和覆盖LP均实现了Õ(1/ε²)的期望时间复杂度，优于先前的Õ(1/ε³)界限。
• 该算法的总工作量为Õ(N/ε²)，其中N为约束矩阵的规模，且在期望下运行Õ(1/ε²)次迭代。
• 输出解的期望目标值对于覆盖LP最多为(1+6ε)OPT，对于打包LP至少为(1−ε)OPT，确保了强大的近似保证。
• DB-SCD优化后的校正步骤在期望下最多使目标值增加ε·OPT，从而保持了近似质量。
• 通过仅更新具有相似梯度大小的坐标，该方法减少了坐标间的干扰，从而实现了更稳定、高效的收敛。
• 理论分析证实，DB-SCD使得近期一阶优化界（来自Allen-Zhu与Orecchia）得以应用，而这是以往标准坐标下降方法无法实现的。