[论文解读] Conic Optimization via Operator Splitting and Homogeneous Self-Dual Embedding

Brendan O’Donoghue, Eric Chu+2 more|arXiv (Cornell University)|Dec 11, 2013

Advanced Optimization Algorithms Research被引用 75

一句话总结

本文提出一种基于算子分裂的交替方向乘子法（ADMM）求解大规模凸锥规划的一阶方法，该方法应用于同质自对偶嵌入。该方法无需调参即可同时计算原始解与对偶解，或不可行性证书，可在内点法因可扩展性限制而失效的大规模问题上实现快速收敛。

ABSTRACT

We introduce a first order method for solving very large convex cone programs. The method uses an operator splitting method, the alternating directions method of multipliers, to solve the homogeneous self-dual embedding, an equivalent feasibility problem involving finding a nonzero point in the intersection of a subspace and a cone. This approach has several favorable properties. Compared to interior-point methods, first-order methods scale to very large problems, at the cost of requiring more time to reach very high accuracy. Compared to other first-order methods for cone programs, our approach finds both primal and dual solutions when available or a certificate of infeasibility or unboundedness otherwise, is parameter-free, and the per-iteration cost of the method is the same as applying a splitting method to the primal or dual alone. We discuss efficient implementation of the method in detail, including direct and indirect methods for computing projection onto the subspace, scaling the original problem data, and stopping criteria. We describe an open-source implementation, which handles the usual (symmetric) non-negative, second-order, and semidefinite cones as well as the (non-self-dual) exponential and power cones and their duals. We report numerical results that show speedups over interior-point cone solvers for large problems, and scaling to very large general cone programs.

研究动机与目标

• 开发一种可扩展的一阶方法，用于求解凸锥规划，能够处理内点法难以应对的超大规模问题。
• 在问题可行时提供原始和对偶解，否则提供不可行性或无界性的证书，且无需针对具体问题进行调参。
• 结合同质自对偶嵌入的鲁棒性与一阶算子分裂（特别是ADMM）的高效性。
• 实现对一般锥规划（包括非对称锥如指数锥和幂锥）的高效、无参数求解。

提出的方法

• 将原始-对偶锥规划转化为同质自对偶可行性问题，该问题旨在寻找子空间与凸锥交集中的非零点。
• 对同质自对偶嵌入应用ADMM，交替进行子空间和锥上的投影操作，并更新对偶变量。
• 每次ADMM迭代包含求解一个线性系统以及对锥进行投影，其中投影步骤根据锥的类型（如二阶锥、半定锥、指数锥）进行定制。
• 采用无参数方法，通过自动数据缩放改善条件数和收敛性。
• 利用自对偶结构，通过解的结构自然检测不可行性或无界性。
• 提供一个开源C语言实现SLS，支持对称锥及非自对偶锥（如指数锥和幂锥）。

实验结果

研究问题

• RQ1 能否有效将一阶方法应用于同质自对偶嵌入，以求解具有不可行性检测能力的大规模锥规划？
• RQ2 与内点法相比，该基于ADMM的方法在可扩展性和解的精度方面表现如何？
• RQ3 该方法是否能无需用户调参，可靠地返回原始和对偶解，或不可行性/无界性的证书？
• RQ4 哪些高效的实现技术（如直接和间接线性求解器、预条件化）可实现大规模问题上的快速收敛？
• RQ5 该方法在一般锥规划（包括指数锥和幂锥等非对称锥）上的可扩展性如何？

主要发现

• 与内点求解器相比，该方法在大规模锥规划上实现了最高达4,300倍的加速，SLS可在数秒内求解高达10^5个变量的问题。
• 对于规模为10^5的问题，SLS在0.9秒内完成求解，对偶间隙为2.0×10^{-3}，而内点法需要4.3×10^3秒。
• 该算法能可靠检测不可行性或无界性，并在原始或对偶不可行时提供证书。
• 该方法可扩展至10^5及以上规模的问题，已报告目前求解的最大规模的一般锥规划问题。
• 每次ADMM步骤的平均共轭梯度迭代次数稳定在约4.7至6.1之间，表明线性系统求解效率高。
• 该方法为无参数方法，自动缩放问题数据，提升了鲁棒性和收敛速度。