[論文レビュー] Practical Large-Scale Linear Programming using Primal-Dual Hybrid Gradient

David Applegate, Mateo Díaz+5 more|arXiv (Cornell University)|Jun 8, 2021

Advanced Optimization Algorithms Research被引用数 16

ひとこと要約

この論文は、適応的再起動、動的ステップサイズ、対角条件付け、および事前処理を含む強化を施した、プライマル・デュアルハイブリッド勾配（PDHG）フレームワークを活用する大規模な線形計画法のための実用的で最初の段階の手法PDLPを紹介する。PDLPは、383個のMIPLIB 2017インスタンスにおいて、SCSよりも最大6.3倍速く、高精度の解を得ることができ、特定の大規模問題において商用ソルバーを上回る性能を示しており、従来のLPワークロードにおける最初の段階の手法の実現可能性を裏付けている。

ABSTRACT

We present PDLP, a practical first-order method for linear programming (LP) that can solve to the high levels of accuracy that are expected in traditional LP applications. In addition, it can scale to very large problems because its core operation is matrix-vector multiplications. PDLP is derived by applying the primal-dual hybrid gradient (PDHG) method, popularized by Chambolle and Pock (2011), to a saddle-point formulation of LP. PDLP enhances PDHG for LP by combining several new techniques with older tricks from the literature; the enhancements include diagonal preconditioning, presolving, adaptive step sizes, and adaptive restarting. PDLP improves the state of the art for first-order methods applied to LP. We compare PDLP with SCS, an ADMM-based solver, on a set of 383 LP instances derived from MIPLIB 2017. With a target of $10^{-8}$ relative accuracy and 1 hour time limit, PDLP achieves a 6.3x reduction in the geometric mean of solve times and a 4.6x reduction in the number of instances unsolved (from 227 to 49). Furthermore, we highlight standard benchmark instances and a large-scale application (PageRank) where our open-source prototype of PDLP, written in Julia, outperforms a commercial LP solver.

研究の動機と目的

• 理論的な最初の段階の手法と実用的なLPソルバーの性能ギャップを埋めるために、実用的なアルゴリズム的技術を用いてPDHGを強化すること。
• 最初の段階の手法が、機械学習のための中程度の精度ではなく、従来のLPアプリケーションで求められる高精度を達成できることを示すこと。
• 行列ベクトル積のみを用いて、非常に大規模なLP問題を効率的に解けるスケーラブルな手法を実現すること。これは、マルチコアCPU、GPU、分散システムに適している。
• 個々のアルゴリズム的強化（例：適応的再起動、条件付け）が全体の性能に与える影響を、アブレーションスタディを通じて評価すること。
• 最初の段階の手法が、単体法や内点法のメモリ制約や因子分解制約により解けないような、実世界の大規模応用（例：PageRank）で商用ソルバーと競合できることを示すこと。

提案手法

• 線形計画法をサドルポイント問題として定式化し、行列ベクトル積に依存するが、行列因子分解に依存しないPDHG法を適用する。
• 最初の段階の手法に一般的に見られる「尾を引く効果（tailing-off effect）」を軽減するため、双対ギャップとプライマル・デュアル距離に基づく適応的再起動を導入する。
• 問題固有のチューニングを必要とせず、収束を向上させるためにMalitsky-Pock則を用いた動的ステップサイズ選択を採用する。
• RuizおよびPock-Chambolleのスケーリングを用いて対角条件付けを実施し、条件数を改善し収束を加速する。
• 問題のサイズを縮小し、数値的安定性を向上させるために、包括的な事前処理パイプラインを統合する。
• プライマル重み更新とギャップ・オーバー・ディスタンス指標を組み合わせたハイブリッドアプローチを用い、再起動の意思決定を支援する。

実験結果

リサーチクエスチョン

• RQ1 PDHGのような最初の段階の手法を、従来のLPアプリケーションで求められる高精度を達成するために強化できるか？
• RQ2 適応的再起動、動的ステップサイズ、および条件付けが、大規模LP問題におけるPDHGの性能にどのように寄与するか？
• RQ3 最初の段階の手法が、特定の大規模または構造的問題において、確立された商用LPソルバーを上回ることができるか？
• RQ4 各アルゴリズム的強化（例：事前処理、条件付け）が全体の性能に与える相対的寄与度はどの程度か？
• RQ5 単体法や内点法がメモリ制約や因子分解制約により解けないような、非常に大規模な問題において、PDLPは効果的にスケーリングできるか？

主な発見

• 383個のMIPLIB 2017 LPインスタンスにおいて、PDLPは1時間以内に相対的最適性許容誤差10⁻⁸で283問を解釈したが、ベースラインのPDHG法ではわずか50問にとどまった。
• PDLPは、ADMMに基づくソルバーであるSCSと比較して、幾何平均の解決時間を6.3倍短縮し、未解決インスタンス数を227から49に削減した。
• 大規模なPageRank問題において、Gurobiのバリア法および単体法を上回り、より速く、より高い精度で問題を解釈した。
• アブレーションスタディの結果、適応的再起動と対角条件付けの両方が性能向上に顕著に寄与しており、併用することで最良の結果が得られた。
• PDLPは行列ベクトル積に依存しているため、マルチスレッドCPU、GPU、分散クラスタ上で効率的にスケーリング可能であり、単体法や内点法とは異なり、スケーラビリティに優れる。
• PDLPのオープンソースJulia実装は、最初の段階の手法が特定のクラスの大規模LP問題において、商用ソルバーと競合可能であることを示している。