[论文解读] Distributed Convex Optimization with Many Convex Constraints

Joachim Giesen, Sören Laue|arXiv (Cornell University)|Oct 7, 2016

Optimization and Variational Analysis被引用 19

一句话总结

该论文提出了一种新颖的分布式算法，将ADMM扩展以处理具有大量非线性约束的一般凸优化问题，将一致性与约束处理循环合并为双循环结构。该方法继承了ADMM和增广拉格朗日法的收敛性保证，能够高效、可扩展地求解大规模问题（如鲁棒SVM），而无需像以往方法那样使用三层嵌套循环。

ABSTRACT

We address the problem of solving convex optimization problems with many convex constraints in a distributed setting. Our approach is based on an extension of the alternating direction method of multipliers (ADMM) that recently gained a lot of attention in the Big Data context. Although it has been invented decades ago, ADMM so far can be applied only to unconstrained problems and problems with linear equality or inequality constraints. Our extension can handle arbitrary inequality constraints directly. It combines the ability of ADMM to solve convex optimization problems in a distributed setting with the ability of the Augmented Lagrangian method to solve constrained optimization problems, and as we show, it inherits the convergence guarantees of ADMM and the Augmented Lagrangian method.

研究动机与目标

• 为解决标准ADMM无法直接处理大量非线性约束的分布式凸优化问题中的空白。
• 消除在分布式约束优化中对三层嵌套循环的需求，其中先前方法需分别对一致性、约束和无约束子问题求解进行循环。
• 开发一种统一算法，结合ADMM的分布式结构与增广拉格朗日法处理任意凸不等式约束的能力。
• 为一种懒惰的双循环算法方案提供收敛性证明，该方案将一致性与约束处理合并，迄今为止尚未被正式分析过。
• 通过在分布式计算节点上使用真实问题（如鲁棒SVM和核心向量机）展示其可扩展性和效率。

提出的方法

• 通过整合增广拉格朗日法扩展ADMM，以直接处理任意凸不等式约束，避免对可行集进行投影。
• 采用双循环结构：外层循环用于增广拉格朗日法，内层循环用于ADMM，合并了一致性与约束处理的角色。
• 将该方法应用于目标函数可分离且具有大量非线性约束的问题，例如最小包围球半径最小化或鲁棒SVM。
• 采用交替方向方案，结合对偶上升与惩罚项更新，以强制执行约束并在分布式节点间实现一致性。
• 通过结合ADMM与增广拉格朗日法的理论性质，推导出收敛性保证，确保在标准假设下收敛至最优解。
• 在分布式硬件上实现该算法，将数据点分发至计算节点，并并行求解局部子问题。

实验结果

研究问题

• RQ1 ADMM能否在无需三层嵌套循环的情况下，扩展以处理分布式设置中的一般凸不等式约束？
• RQ2 是否可能将分布式优化中的一致性与约束处理步骤合并，以降低算法复杂度？
• RQ3 所提出的双循环算法是否在保持收敛性保证的同时，相较于三层循环基线方法提升了效率？
• RQ4 在实际应用（如鲁棒SVM）中，该算法的性能如何随约束数量和计算节点数量而变化？
• RQ5 近似精度对所提框架中收敛所需迭代次数有何影响？

主要发现

• 所提算法在分布式设置中成功处理了一般凸非线性约束，避免了每次迭代中求解约束子问题的需求。
• 该方法仅使用两层嵌套循环即可实现收敛，优于需要三层循环的基线方法，后者需分别处理一致性、约束和无约束子问题。
• 在鲁棒SVM上的实验表明，随着数据点数量增加，迭代次数减少，表明由于局部多样性提高，一致性效果更好，收敛性提升。
• 更高的近似精度（以 ∥zᵏ−z*∥∞ ≤ 5·10⁻³ 衡量）需要显著增加迭代次数，与标准ADMM的已知行为一致。
• 该算法在计算节点数量和数据点数量方面均表现出良好的可扩展性，随着每个节点的数据点增加，运行时间减少。
• 结果支持一种假设：在实践中，中等精度解通常已足够，这与机器学习中通过早停进行正则化的做法一致。