[论文解读] An ADMM-Based Interior-Point Method for Large-Scale Linear Programming

Tianyi Lin, Shiqian Ma+2 more|arXiv (Cornell University)|May 31, 2018

Advanced Optimization Algorithms Research参考文献 56被引用 7

一句话总结

本文提出 ABIP，一种基于 ADMM 的内点法，用于大规模线性规划，结合了二阶内点法（IPM）的稳定性与一阶 ADMM 的可扩展性。通过在同质自对偶嵌入框架内使用 ADMM 求解对数障碍子问题，ABIP 在大规模、稠密且病态的 LP 问题上实现了高精度与鲁棒性，其可扩展性与可靠性优于传统 IPM 和纯一阶求解器（如 SCS）。

ABSTRACT

We propose a new framework to implement interior point method (IPM) to solve very large linear programs (LP). Traditional IPMs typically use Newton's method to approximately solve a subproblem that aims to minimize a log-barrier penalty function at each iteration. Due its connection to Newton's method, IPM is often classified as second-order method -- a genre that is attached with stability and accuracy at the expense of scalability. Indeed, computing a Newton step amounts to solving a large linear system, which can be efficiently implemented if the input data are reasonably-sized and/or sparse and/or well-structured. However, in case the above premises fail, then the challenge still stands on the way for a traditional IPM. To deal with this challenge, one approach is to apply the iterative procedure, such as preconditioned conjugate gradient method, to solve the linear system. Since the linear system is different each iteration, it is difficult to find good pre-conditioner to achieve the overall solution efficiency. In this paper, an alternative approach is proposed. Instead of applying Newton's method, we resort to the alternating direction method of multipliers (ADMM) to approximately minimize the log-barrier penalty function at each iteration, under the framework of primal-dual path-following for a homogeneous self-dual embedded LP model. The resulting algorithm is an ADMM-Based Interior Point Method, abbreviated as ABIP in this paper. The new method inherits stability from IPM, and scalability from ADMM. Because of its self-dual embedding structure, ABIP is set to solve any LP without requiring prior knowledge about its feasibility. We conduct extensive numerical experiments testing ABIP with large-scale LPs from NETLIB and machine learning applications. The results demonstrate that ABIP compares favorably with existing LP solvers including SDPT3, MOSEK, DSDP-CG and SCS.

研究动机与目标

• 解决传统内点法（IPM）在求解大规模、稠密或病态线性规划问题时的可扩展性局限。
• 克服在牛顿步长计算中为 Krylov 子空间方法寻找有效预条件子的困难。
• 开发一种一阶 IPM 框架，保留 IPM 的精度与稳定性，同时实现 ADMM 等一阶方法的可扩展性。
• 通过同质自对偶嵌入，使单一算法能够自动处理可行、不可行或无界的 LP 问题。
• 证明 ADMM 可在不牺牲收敛质量或鲁棒性的前提下，有效替代 IPM 中的牛顿法求解子问题。

提出的方法

• 采用原始 LP 的同质自对偶（HSD）嵌入，确保初始点可行，并自动检测不可行性或无界性。
• 在每次 IPM 迭代中，使用交替方向乘子法（ADMM）近似求解对数障碍惩罚子问题，替代牛顿法。
• ADMM 子问题的结构设计利用了可分性，支持高效、分布式和可扩展的更新，适用于大规模问题。
• 算法采用原始对偶路径跟踪方案，通过自适应调整惩罚参数的 ADMM 迭代追踪中心路径。
• 收敛性分析表明，ABIP 的整体迭代复杂度为 O(1/ε log(1/ε))，与标准 IPM 的复杂度一致。
• 该方法实现为直接求解（ABIP）与迭代求解（ABIP-CG）两种变体，后者使用共轭梯度法求解大规模系统。

实验结果

研究问题

• RQ1 ADMM 是否能有效替代内点法中对数障碍子问题求解的牛顿法，同时保持收敛性与精度？
• RQ2 基于 ADMM 的 IPM 在大规模、稠密 LP 问题上的性能，与传统 IPM 和纯一阶求解器（如 SCS）相比如何？
• RQ3 通过同质自对偶嵌入将 ADMM 与 IPM 结合，是否能产生一种鲁棒算法，可在无需先验知识的情况下自动检测不可行性与无界性？
• RQ4 所提出的基于 ADMM 的 IPM 框架的理论迭代复杂度是多少？
• RQ5 该方法是否能高效扩展至传统 IPM 因病态条件或稠密数据结构而失效的超大规模问题？

主要发现

• ABIP 成功求解全部 114 个可行的 NETLIB LP 实例，优于 SCS 和 SCS-CG（后者在 25–30% 的问题上失败）。
• 在机器学习问题上，ABIP 与 ABIP-CG 比 SCS 和 SCS-CG 更具鲁棒性，其中 SCS 在 ucihapt 和 gisette 上失败，SCS-CG 在 ucihapt 和 ucihar 上失败。
• ABIP 在大规模问题上相比 SDPT3 最快可实现 3 倍加速，性能与 MOSEK 相当，而 MOSEK 是最鲁棒的求解器。
• ABIP-CG 在鲁棒性上优于 DSDP-CG 与 SCS-CG，成功求解了后两者失败的所有问题。
• ABIP 在稠密且病态的问题上表现出卓越的可扩展性与稳定性，而传统 IPM 因线性系统病态而难以应对。
• 理论分析确认，ABIP 保持了标准 IPM 的 O(1/ε log(1/ε)) 迭代复杂度，确保快速收敛至高精度。