[论文解读] An asymptotically superlinearly convergent semismooth Newton augmented Lagrangian method for Linear Programming

Xudong Li, Defeng Sun+1 more|arXiv (Cornell University)|Mar 22, 2019

Advanced Optimization Algorithms Research参考文献 42被引用 5

一句话总结

本文提出 Snipal，一种基于半光滑牛顿法的不精确邻近增广拉格朗日方法，用于大规模线性规划（LP）问题，尤其适用于稠密或病态的约束矩阵。通过使用迭代方法求解条件良好的半光滑牛顿系统，Snipal 实现了渐近超线性收敛和有限终止，相较于 Gurobi 的障碍法，在稠密 LP 实例（如相关性聚类问题）上性能提升最高达 100 倍。

ABSTRACT

Powerful interior-point methods (IPM) based commercial solvers, such as Gurobi and Mosek, have been hugely successful in solving large-scale linear programming (LP) problems. The high efficiency of these solvers depends critically on the sparsity of the problem data and advanced matrix factorization techniques. For a large scale LP problem with data matrix $A$ that is dense (possibly structured) or whose corresponding normal matrix $AA^T$ has a dense Cholesky factor (even with re-ordering), these solvers may require excessive computational cost and/or extremely heavy memory usage in each interior-point iteration. Unfortunately, the natural remedy, i.e., the use of iterative methods based IPM solvers, although can avoid the explicit computation of the coefficient matrix and its factorization, is not practically viable due to the inherent extreme ill-conditioning of the large scale normal equation arising in each interior-point iteration. To provide a better alternative choice for solving large scale LPs with dense data or requiring expensive factorization of its normal equation, we propose a semismooth Newton based inexact proximal augmented Lagrangian ({\sc Snipal}) method. Different from classical IPMs, in each iteration of {\sc Snipal}, iterative methods can efficiently be used to solve simpler yet better conditioned semismooth Newton linear systems. Moreover, {\sc Snipal} not only enjoys a fast asymptotic superlinear convergence but is also proven to enjoy a finite termination property. Numerical comparisons with Gurobi have demonstrated encouraging potential of {\sc Snipal} for handling large-scale LP problems where the constraint matrix $A$ has a dense representation or $AA^T$ has a dense factorization even with an appropriate re-ordering.

研究动机与目标

• 为解决内点法（IPMs）在大规模 LP 问题中面对稠密或病态约束矩阵时的计算低效问题。
• 开发一种可扩展的 IPM 替代方法，避免昂贵的稀疏 Cholesky 分解，并有效利用迭代求解器。
• 在病态条件下保持数值稳定性的同时，确保快速的局部收敛和有限终止。
• 实现对约束矩阵 A 通过线性映射定义而非显式存储的 LP 问题的高效求解。
• 在特定类别的稠密 LP 问题上，展示对商业 IPM 求解器（如 Gurobi）的实际性能优势。

提出的方法

• 提出一种不精确邻近增广拉格朗日框架，其中内层子问题通过半光滑牛顿法求解。
• 引入一种半光滑牛顿系统，其条件数显著优于 IPM 中的法方程，即使在接近最优时亦然。
• 利用 PCG 等迭代求解器高效求解半光滑牛顿系统，同时利用数据和解的稀疏性。
• 通过与预处理邻近点算法的联系，建立全局收敛性和局部渐近超线性收敛性。
• 采用线搜索策略，确保每次迭代中增广拉格朗日函数均有充分下降。
• 应用有限终止性质，无需依赖对偶间隙阈值即可检测最优性。

实验结果

研究问题

• RQ1 基于半光滑牛顿法的增广拉格朗日方法能否在大规模稠密数据 LP 问题中实现超线性收敛？
• RQ2 所提方法中的半光滑牛顿系统是否保持一致有界的条件数，而不同于 IPM 法方程中无界的条件数？
• RQ3 由于条件数改善，迭代求解器能否有效且高效地求解半光滑牛顿系统？
• RQ4 该方法是否在法矩阵为稠密或病态的 LP 问题上优于最先进的 IPM 求解器（如 Gurobi）？
• RQ5 该方法是否可应用于约束矩阵 A 通过线性映射定义而无需显式存储的问题？

主要发现

• Snipal 实现了渐近超线性收敛，其速度优于许多增广拉格朗日方法常见的线性收敛。
• Snipal 中的半光滑牛顿系统具有始终有界的条件数，而 IPM 法方程的条件数则无界。
• 在相关性聚类等稠密 LP 问题上，当相对 KKT 残差精度达到 1e-8 时，Snipal 的性能比 Gurobi 的障碍法快至多 100 倍。
• 对于具有稠密或结构化约束矩阵的一类大规模 LP 实例，Snipal 展现出相对于 Gurobi 的明显计算优势。
• 该方法具备有限终止性质，可无需依赖对偶间隙阈值即可精确检测最优性。
• 在标准稀疏 LP 测试集上，Snipal 尚未在性能上超越 Gurobi 的障碍法，尤其当稀疏 Cholesky 分解高效时。