[論文レビュー] An ADMM-Based Interior-Point Method for Large-Scale Linear Programming

Tianyi Lin, Shiqian Ma+2 more|arXiv (Cornell University)|May 31, 2018

Advanced Optimization Algorithms Research参考文献 56被引用数 7

ひとこと要約

本稿では、大規模線形計画法（LP）に対して、2次元IPMの安定性と1次元ADMMのスケーラビリティを組み合わせたADMMに基づく内点法（ABIP）を提案する。同手法は、同次自己双対埋め込みフレームワーク内でのログバリアントサブプロブレムをADMMで解くことで、高精度かつロバストに大規模で密行列かつ悪条件のLPを解くことを可能にし、伝統的なIPMおよび純粋な1次元ソルバ（SCS）を凌駕するスケーラビリティと信頼性を示す。

ABSTRACT

We propose a new framework to implement interior point method (IPM) to solve very large linear programs (LP). Traditional IPMs typically use Newton's method to approximately solve a subproblem that aims to minimize a log-barrier penalty function at each iteration. Due its connection to Newton's method, IPM is often classified as second-order method -- a genre that is attached with stability and accuracy at the expense of scalability. Indeed, computing a Newton step amounts to solving a large linear system, which can be efficiently implemented if the input data are reasonably-sized and/or sparse and/or well-structured. However, in case the above premises fail, then the challenge still stands on the way for a traditional IPM. To deal with this challenge, one approach is to apply the iterative procedure, such as preconditioned conjugate gradient method, to solve the linear system. Since the linear system is different each iteration, it is difficult to find good pre-conditioner to achieve the overall solution efficiency. In this paper, an alternative approach is proposed. Instead of applying Newton's method, we resort to the alternating direction method of multipliers (ADMM) to approximately minimize the log-barrier penalty function at each iteration, under the framework of primal-dual path-following for a homogeneous self-dual embedded LP model. The resulting algorithm is an ADMM-Based Interior Point Method, abbreviated as ABIP in this paper. The new method inherits stability from IPM, and scalability from ADMM. Because of its self-dual embedding structure, ABIP is set to solve any LP without requiring prior knowledge about its feasibility. We conduct extensive numerical experiments testing ABIP with large-scale LPs from NETLIB and machine learning applications. The results demonstrate that ABIP compares favorably with existing LP solvers including SDPT3, MOSEK, DSDP-CG and SCS.

研究の動機と目的

• 大規模・密行列・悪条件の線形計画法を解く際の伝統的内点法（IPM）のスケーラビリティ制限を克服すること。
• ニュートンステップ計算におけるKrylov部分空間法のための有効な前処理行列を見つける難しさを克服すること。
• IPMの精度と安定性を維持しながら、ADMMのような1次元手法のスケーラビリティを達成する1次元IPMフレームワークを構築すること。
• 同次自己双対埋め込みを活用することで、事前に可能性を知らなくても、任意のLP（実行可能・非実行可能・非有界）を1つのアルゴリズムで解けるようにすること。
• ADMMがIPMのサブプロブレム解法においてニュートン法に代わって有効に機能し、収束品質やロバスト性を損なわずに運用できることを示すこと。

提案手法

• 元のLPを同次自己双対（HSD）埋め込みすることで、実行可能解の初期点を保証するとともに、非実行可能性や非有界性を自動的に検出する。
• 各IPM反復において、ログバリアントペナルティサブプロブレムを、交替方向乗数法（ADMM）を用いて近似的に解き、ニュートン法に代える。
• ADMMサブプロブレムは分離性を活用する構造となっており、大規模問題における効率的かつ分散型のスケーラブルな更新を可能にする。
• アルゴリズムはプライマル・デュアルパス・フォローアプローチに従い、ADMM反復と適応的ペナルティパラメータ更新を用いて中心路を追跡する。
• 収束解析により、ABIPの全体的な反復複雑度がO(1/ε log(1/ε))であることが示され、標準IPMと同等の複雑度を維持する。
• 直接法（ABIP）と反復法（ABIP-CG）の2つのバージョンで実装されており、後者は大規模な線形系に対して共役勾配法を用いる。

実験結果

リサーチクエスチョン

• RQ1 ADMMを内点法のログバリアントサブプロブレムの解法に効果的に用いることで、収束性と精度を損なわず置き換えることができるか？
• RQ2 ADMMベースのIPMは、大規模・密行列のLP問題において、伝統的IPMおよび純粋な1次元ソルバ（SCS）と比較して、性能に優れているか？
• RQ3 ADMMとIPMを同次自己双対埋め込みによって統合することで、事前の知識なしに非実行可能性や非有界性を検出できるロバストなアルゴリズムが得られるか？
• RQ4 提案されたADMMベースのIPMフレームワークの理論的反復複雑度は何か？
• RQ5 伝統的IPMが悪条件や密行列構造のため失敗するような極めて大規模な問題に対しても、本手法は効率的にスケーリング可能か？

主な発見

• ABIPはNETLIBの114件のすべての実行可能LPインスタンスを正しく解き、SCSおよびSCS-CGが25〜30％の問題で失敗するのに対し、優れた性能を示した。
• 機械学習問題においても、ABIPおよびABIP-CGはSCSおよびSCS-CGよりもロバストであり、SCSは ucihapt および gisette で失敗し、SCS-CGは ucihapt および ucihar で失敗した。
• 大規模問題において、ABIPはSDPT3に比べ最大3倍の高速化を達成し、MOSEKと同等の性能を示した。MOSEKは最もロバストなソルバであった。
• ABIP-CGはDSDP-CGおよびSCS-CGよりもロバスト性に優れ、それらが失敗したすべての問題を解くことができた。
• 伝統的IPMが悪条件の線形系のため苦戦する密行列および悪条件の問題において、ABIPは優れたスケーラビリティと安定性を示した。
• 理論的解析により、ABIPが標準IPMと同等のO(1/ε log(1/ε))の反復複雑度を維持していることが確認され、高精度への高速収束が保証された。