[論文レビュー] An asymptotically superlinearly convergent semismooth Newton augmented Lagrangian method for Linear Programming

Xudong Li, Defeng Sun+1 more|arXiv (Cornell University)|Mar 22, 2019

Advanced Optimization Algorithms Research参考文献 42被引用数 5

ひとこと要約

本稿では、密行列または悪条件な制約行列を伴う大規模な線形計画法（LP）問題に対して、半スムーズニュートン法に基づく不正確なプロキシマル増大ラグランジュ法「Snipal」を提案する。反復法により良好に条件付けられた半スムーズニュートン方程式系を解くことで、Snipalは漸近的に超線形収束を達成し、有限回で終了する。特に相関クラスタリング問題のような密行列を伴うLPインスタンスでは、Gurobiのバリア法を最大100倍速く処理する。

ABSTRACT

Powerful interior-point methods (IPM) based commercial solvers, such as Gurobi and Mosek, have been hugely successful in solving large-scale linear programming (LP) problems. The high efficiency of these solvers depends critically on the sparsity of the problem data and advanced matrix factorization techniques. For a large scale LP problem with data matrix $A$ that is dense (possibly structured) or whose corresponding normal matrix $AA^T$ has a dense Cholesky factor (even with re-ordering), these solvers may require excessive computational cost and/or extremely heavy memory usage in each interior-point iteration. Unfortunately, the natural remedy, i.e., the use of iterative methods based IPM solvers, although can avoid the explicit computation of the coefficient matrix and its factorization, is not practically viable due to the inherent extreme ill-conditioning of the large scale normal equation arising in each interior-point iteration. To provide a better alternative choice for solving large scale LPs with dense data or requiring expensive factorization of its normal equation, we propose a semismooth Newton based inexact proximal augmented Lagrangian ({\sc Snipal}) method. Different from classical IPMs, in each iteration of {\sc Snipal}, iterative methods can efficiently be used to solve simpler yet better conditioned semismooth Newton linear systems. Moreover, {\sc Snipal} not only enjoys a fast asymptotic superlinear convergence but is also proven to enjoy a finite termination property. Numerical comparisons with Gurobi have demonstrated encouraging potential of {\sc Snipal} for handling large-scale LP problems where the constraint matrix $A$ has a dense representation or $AA^T$ has a dense factorization even with an appropriate re-ordering.

研究の動機と目的

• 密行列または悪条件な制約行列を伴う大規模LP問題において、内点法（IPMs）の計算非効率性を解消すること。
• スパースなコレスキー分解が高価であるのを避けるとともに、反復解法を効果的に活用できるスケーラブルなIPMsの代替手法を開発すること。
• 悪条件性の影響を受けても、高速な局所収束と有限回での終了を保証すること。
• 制約行列Aが明示的に格納されていないが、線形写像によって定義される問題に対しても効率的に解けるようにすること。
• 特定のクラスの密行列LP問題において、Gurobiのような商業的IPMソルバーよりも実用的に優れた性能を示すことを実証すること。

提案手法

• 内部の部分問題を半スムーズニュートン法で解く不正確なプロキシマル増大ラグランジュフレームワークを提案する。
• IPMの正規方程式よりも著しく良好に条件付けられた半スムーズニュートン方程式系を導入する。
• PCGなどの反復解法を用いて、データと解のスパarsityを活用して半スムーズニュートン方程式系を効率的に解く。
• 前処理付きプロキシマル点算法との関連を介して、グローバル収束および局所的漸近的超線形収束を確立する。
• 各反復で増大ラグランジュ関数が十分に減少するように、ラインサーチ戦略を採用する。
• 双対ギャップの閾値に依存せずに最適性を検出できる有限終了性を適用する。

実験結果

リサーチクエスチョン

• RQ1 半スムーズニュートン法に基づく増大ラグランジュ法は、密行列データを伴う大規模LP問題において超線形収束を達成できるか？
• RQ2 提案手法における半スムーズニュートン方程式系は、IPMの正規方程式とは異なり、一様に有界な条件数を維持するか？
• RQ3 改善された条件付けのおかげで、反復解法が半スムーズニュートン方程式系を効果的かつ効率的に解くことができるか？
• RQ4 正規行列が密または悪条件なLP問題において、Gurobiのような最先端のIPMソルバーよりも性能が優れているか？
• RQ5 制約行列Aが明示的に格納されていない線形写像によって定義される問題に対しても、この手法が適用可能か？

主な発見

• Snipalは漸近的に超線形収束を達成しており、多くの増大ラグランジュ法が示す線形収束よりも速い。
• Snipalにおける半スムーズニュートン方程式系は、一様に有界な条件数を有するが、IPMの正規方程式とは異なり、無限大に発散しない。
• 相関クラスタリング問題のような密行列LP問題では、相対KKT残差精度1e-8において、SnipalはGurobiのバリア法の最大100倍速い。
• 密または構造的制約行列を伴う大規模LPインスタンスのサブセットにおいて、SnipalはGurobiに明確な計算上の優位性を示す。
• 有限終了性のおかげで、双対ギャップの閾値に依存せずに最適性を正確に検出できる。
• 標準的なスパースLPテストセットでは、SnipalはまだGurobiのバリア法に十分な性能で競合できないが、特にスパースコレスキー分解が効率的な場合に顕著である。