[论文解读] Faster Randomized Interior Point Methods for Tall/Wide Linear Programs

Agniva Chowdhury, Gregory Dexter+3 more|arXiv (Cornell University)|Sep 19, 2022

Advanced Optimization Algorithms Research被引用 4

一句话总结

本文提出了一种针对瘦高/宽矩阵线性规划问题的更快随机内点法，通过使用随机预条件化与共轭梯度求解器，实现在不增加迭代复杂度的前提下，收敛至可行且近似最优的解。该方法将内层迭代次数减少了一个数量级，同时通过一种新颖的扰动向量修正求解器误差，保持了理论上的收敛保证。

ABSTRACT

Linear programming (LP) is an extremely useful tool which has been successfully applied to solve various problems in a wide range of areas, including operations research, engineering, economics, or even more abstract mathematical areas such as combinatorics. It is also used in many machine learning applications, such as $\ell_1$-regularized SVMs, basis pursuit, nonnegative matrix factorization, etc. Interior Point Methods (IPMs) are one of the most popular methods to solve LPs both in theory and in practice. Their underlying complexity is dominated by the cost of solving a system of linear equations at each iteration. In this paper, we consider both feasible and infeasible IPMs for the special case where the number of variables is much larger than the number of constraints. Using tools from Randomized Linear Algebra, we present a preconditioning technique that, when combined with the iterative solvers such as Conjugate Gradient or Chebyshev Iteration, provably guarantees that IPM algorithms (suitably modified to account for the error incurred by the approximate solver), converge to a feasible, approximately optimal solution, without increasing their iteration complexity. Our empirical evaluations verify our theoretical results on both real-world and synthetic data.

研究动机与目标

• 为解决内点法（IPMs）在每次迭代中求解大型线性系统所导致的计算瓶颈问题。
• 为变量数量远多于约束数量的问题（即瘦高/宽矩阵线性规划问题，常见于机器学习）设计一种可扩展的内点法。
• 在使用不精确的随机线性系统求解器的同时，保持与精确内点法相同的迭代复杂度。
• 尽管线性求解存在近似误差，仍确保收敛至可行且近似最优的解。
• 提供所提出的预条件化、不精确内点法框架的理论保证与实验验证。

提出的方法

• 通过随机投影（sketching）实现随机预条件化，以近似内点法迭代中的正规方程矩阵。
• 应用共轭梯度（CG）或切比雪夫迭代求解预条件化系统，降低每次迭代的计算成本。
• 引入一个扰动向量 v 以校正近似线性求解引入的不可行性，确保收敛性。
• 对标准内点法进行修改，以整合不精确求解，同时保持收敛至可行且近似最优解的性质。
• 运用随机线性代数工具，控制条件数并加速迭代求解器的收敛。
• 使用一个投影维度 w 来控制预条件化系统的近似误差与条件数。

实验结果

研究问题

• RQ1 随机预条件化是否能在不增加外层迭代次数的前提下，减少内点法中的内层 CG 迭代次数？
• RQ2 基于扰动向量的校正机制，不精确内点法是否仍能收敛至可行且近似最优的解？
• RQ3 投影维度 w 如何影响预条件化系统的条件数与收敛速率？
• RQ4 所提出的方法在内 CG 求解器容忍度变化时是否具有鲁棒性？
• RQ5 当使用随机近似的线性系统求解器时，内点法的理论收敛保证是否仍可保持？

主要发现

• 与标准内点法相比，所提方法将内层 CG 迭代次数减少了一个数量级，且外层迭代次数未增加。
• 实验结果表明，增大投影维度 w 显著降低了内层迭代次数与预条件化系统的条件数。
• 从可行点开始可大幅减少外层迭代次数，表明可行性有助于加速收敛。
• 扰动向量 v 在实验中有效促进收敛，但并非绝对必要，因为即使不使用该向量，算法仍能收敛。
• 在所有测试数据集（ARCENE、DEXTER、DrivFace、Gene RNA）上，该方法均实现了相对误差小于 10^-3 的高效率结果。
• 得益于 v 校正机制，即使在使用不精确求解时，该方法仍保持理论上的收敛保证。