[論文レビュー] Exploring Benefits of Linear Solver Parallelism on Modern Nonlinear Optimization Applications

Byron Tasseff, Carleton Coffrin+2 more|arXiv (Cornell University)|Sep 17, 2019

Advanced Optimization Algorithms Research被引用数 13

ひとこと要約

本稿では、多様な非線形計画問題（NLP）におけるIpoptのパフォーマンスに与える線形ソルバの並列処理の影響を評価し、新しいオープンソースの異種CPU-GPUソルバ（SPRAL）を導入して、既存のソルバと比較評価している。並列処理は大規模で密行列のPDE制約付き問題において顕著なパフォーマンス向上をもたらすが、オーバーヘッドのため小規模で簡単なベンチマークでは限定的な利点にとどまる。これにより、問題の種別に応じた最適なソルバの選定が可能となる。

ABSTRACT

The advent of efficient interior point optimization methods has enabled the tractable solution of large-scale linear and nonlinear programming (NLP) problems. A prominent example of such a method is seen in Ipopt, a widely-used, open-source nonlinear optimization solver. Algorithmically, Ipopt depends on the use of a sparse symmetric indefinite linear system solver, which is heavily employed within the optimization of barrier subproblems. As such, the performance and reliability of Ipopt is dependent on the properties of the selected linear solver. Inspired by a trend in mathematical programming toward solving larger and more challenging NLPs, this work explores two core questions: first, how does the scalability of available linear solvers, many of which exhibit shared-memory parallelism, impact Ipopt performance; and second, does the best linear solver vary across NLP problem classes, including nonlinear network problems and problems constrained by partial differential equations? To better understand these properties, this paper first describes available open- and closed-source, serial and parallel linear solvers and the fundamental differences among them. Second, it introduces the coupling of a new open-source linear solver capable of heterogeneous parallelism over multi-core central processing units and graphics processing units. Third, it compares linear solvers using a variety of mathematical programming problems, including standard test problems for linear and nonlinear optimization, optimal power flow benchmarks, and scalable two- and three-dimensional partial differential equation and optimal control problems. Finally, linear solver recommendations are provided to maximize Ipopt performance across different application domains.

研究の動機と目的

• 共有メモリ並列処理を有する線形ソルバが大規模非線形最適化問題におけるIpoptのパフォーマンスに与える影響を評価すること。
• 最適化問題の種別（最適発電運用やPDE制約付き問題など）によって、最良の線形ソルバが変化するかどうかを評価すること。
• CPUおよびGPUにおける異種並列処理をサポートする新しいオープンソースの線形ソルバ（SPRAL）を導入し、Ipoptフレームワークに統合すること。
• 多様なアプリケーション分野においてIpoptのパフォーマンスを最大化するための、データ駆動型の線形ソルバ選定の助言を提供すること。

提案手法

• Ipoptフレームワーク内に、オープンソース（MA27, MA57, SPRAL）および商用（PARDISO）の包括的な線形ソルバのスイートをベンチマーク化した。
• 標準テストセット（CUTEst）、最適発電運用（OPF）ベンチマーク、およびスケーラブルな2次元／3次元PDE制約付き最適制御問題を用いて、ソルバの挙動を評価した。
• マルチコアCPUおよびGPUにおける異種並列処理をサポートする新規のスパース対称不定ソルバであるSPRALを統合した。
• 問題の種別にわたり、実行時間、反復回数、因子分解時間の観点からパフォーマンスを測定し、通常のユーザー設定を反映するためのデフォルト設定を採用した。
• 特にGPUアクセcelerated因子分解におけるオーバーヘッドと並列スループットのトレードオフを分析した。
• 問題の種別およびスケールに応じた、実証結果に基づくソルバの推奨事項を生成した。

実験結果

リサーチクエスチョン

• RQ1 共有メモリ並列処理を有する線形ソルバが、大規模NLPにおけるIpoptのパフォーマンスとスケーラビリティに与える影響は何か？
• RQ2 ネットワーク問題やPDE制約付き最適制御問題など、異なるNLP問題の種別において、Ipoptに最適な線形ソルバが顕著に異なるか？
• RQ3 GPUアクセcelerated線形ソルバはどれほどパフォーマンスを向上させるか。また、データ転送のオーバーヘッドによるパフォーマンスのトレードオフは何か？
• RQ4 ピボット順序付けや数値的安定性といったソルバの特性が、異なる問題種別においてパフォーマンスに与える影響は何か？
• RQ5 既存のベンチマークスイートは、現代の大規模NLPの課題を十分に反映しているのか。それとも、より大規模で複雑な問題の必要があるのか？

主な発見

• CUTEstおよびOPFベンチマークの小規模～中規模問題では、オーバーヘッドが低いため、MA57 や MA27 といったシングルスレッドソルバが並列ソルバを上回るパフォーマンスを示した。
• 大規模2次元PDE制約付き問題では、PARDISOが優れたパフォーマンスを示したが、MA57 でさえもシングルスレッドであるにもかかわらず、競争力を持っていた。
• 困難な3次元PDE制約付き問題では、高度な順序付けおよびピボット戦略を有する多階層的SPRALソルバが、他のソルバを上回った。
• GPUアクセcelerated SPRALは、現在の問題サイズではホストとデバイス間のデータ転送オーバーヘッドが高く、限定的な利点にとどまった。
• 困難なPDE問題では反復回数が著しく低く（数十回対数百回）、行列因子分解が主要コストとなり、高速な線形ソルバの価値が顕著に高まった。
• 本研究の結論として、ソルバの選定は問題の種別に応じて行うべきであり、困難な問題にはPARDISOおよびSPRAL、簡単な問題にはMA57／MA27を推奨する。