[論文レビュー] Parallelizing the dual revised simplex method

Q. Huangfu, J. A. J. Hall|arXiv (Cornell University)|Mar 6, 2015

Advanced Optimization Algorithms Research参考文献 14被引用数 11

ひとこと要約

本稿では、標準的なデスクトップアーキテクチャ上で大規模なスパース線形計画問題を対象として、2つの新規な並列二重レヴィズドシンプレックスソルバーPAMIおよびSIPを提案する。PAMIは反復間におけるサブ最適化に基づく並列化を活用し、ピボット品質を維持するための0.95のカットオフを用いる。平均で1.51倍の高速化を達成し、最も優れたオープンソースソルバーであるClpを上回る。SIPは1反復内での並列化を可能にし、PAMIの遅延時に特に補完的である。両アプローチを組み合わせることで、主要ベンチマークにおいてCPLEXの性能に匹敵する。

ABSTRACT

This paper introduces the design and implementation of two parallel dual simplex solvers for general large scale sparse linear programming problems. One approach, called PAMI, extends a relatively unknown pivoting strategy called suboptimization and exploits parallelism across multiple iterations. The other, called SIP, exploits purely single iteration parallelism by overlapping computational components when possible. Computational results show that the performance of PAMI is superior to that of the leading open-source simplex solver, and that SIP complements PAMI in achieving speedup when PAMI results in slowdown. One of the authors has implemented the techniques underlying PAMI within the FICO Xpress simplex solver and this paper presents computational results demonstrating their value. This performance increase is sufficiently valuable for the achievement to be used as the basis of promotional material by FICO. In developing the first parallel revised simplex solver of general utility and commercial importance, this work represents a significant achievement in computational optimization.

研究の動機と目的

• 標準のマルチコアデスクトップアーキテクチャ上で、大規模スパース線形計画問題を対象とした汎用的で商業的に実現可能な並列二重レヴィズドシンプレックスソルバーの開発を目的とする。
• 従来、逐次的で計算ボトルネックを抱えるため並列化が不適切とされるレヴィズドシンプレックス法において、スケーラブルな高速化を達成するという長年の課題を克服することを目的とする。
• 異なる形の並列化を活用しながら数値的安定性とピボット品質を維持する2つの補完的並列化戦略—PAMIおよびSIP—の設計と実装を目的とする。
• 効率的な二重レヴィズドシンプレックス法の並列化が、実現可能であるだけでなく、商業的インパクトを持つことを実証すること。FICO Xpressへの統合およびプロモーション資料への反映を通じて、その有効性を検証する。

提案手法

• PAMI（複数反復間の並列化）は、サブ最適化ピボット戦略を用いて複数反復にわたる並列化を可能にし、ピボット品質を維持するための動的カットオフ係数（0.95）を導入する。
• SIP（1反復内並列化）は、スパース行列-ベクトル乗算（spmv）、因子分解（ftran）、二重更新演算などの計算コンponentをオーバーパイプラインすることで、1反復内での細粒度なデータ並列実行を実現する。
• 両ソルバーは、スパースLU因子分解、ハイパースパース線形システム解法、効率的なLU更新技術、および高度なピボットルール（二重最急降下法（DSE）とバウンドフリップレートテスト（BFRT））を統合した高性能な逐次的二重シンプレックスソルバー（hsol）に基づいている。
• 実装は、特殊な高性能ハードウェアに依存せず、標準的なデスクトップマルチコアアーキテクチャをターゲットとすることで、広範な適用可能性と実世界での実用性を確保する。
• 性能評価は、大規模スパースLP問題の多様なベンチマークセットを用い、Clp（最高のオープンソースソルバー）、CPLEX（業界標準の商業ソルバー）、および技術統合後のFICO Xpressソルバーと比較して実施する。
• 並列実行におけるオーバーヘッドを最小限に抑えるために、特に不規則なスパース行列演算の文脈で、メモリアクセスのコalescingと負荷バランスの最適化を重視する。

実験結果

リサーチクエスチョン

• RQ1 レヴィズドシンプレックス法は本質的に逐次的で、スパース行列演算に依存しているが、その並列化によって有意な高速化を達成できるか？
• RQ2 サブ最適化をピボット戦略として用いることで、ピボット品質や収束速度を損なわず、複数反復にわたる有効な並列化が可能になるか？
• RQ3 PAMIのような複数反復方式に比べ、タスクレベルのオーバーラップによる1反復内並列化（SIP）は、オーバーヘッドや遅延が生じる場合に、実用的で補完的な代替手段となり得るか？
• RQ4 研究段階の並列シンプレックス実装が、実世界の大規模スパースLP問題において、熟練した商業ソルバー（CPLEX）と同等またはそれを上回る性能を達成できる程度にまで到達できるか？
• RQ5 FICO Xpressソルバーへの技術統合が、広告およびベンチマークで使用される形で、実際に測定可能な商業的インパクトをもたらす性能向上をもたらすか？

主な発見

• PAMIはテストセット全体で平均1.51倍の高速化を達成し、最も優れたオープンソースシンプレックスソルバーであるClpを上回る。これは、レヴィズドシンプレックス法の並列化が顕著な性能向上をもたらす可能性を示している。
• SIPは平均1.15倍の高速化を達成しており、PAMIに比べて低いが、PAMIが遅延を示す問題（例：Linf_520c（1.31倍）、maros-r7（1.12倍））において頻繁に補完的役割を果たす。
• PAMIとSIPのうち、より優れた方の性能を組み合わせることで、主なテスト問題の大部分でCPLEX 12.4の性能に匹敵または上回る。特にプリプロセッシングおよびクラッシュ機能を無効にした状況で顕著であり、主要な商業ソルバーと同等の競争力を持つことを示している。
• PAMIの性能は、計算パイプラインにおいてftran-dse（二重最急降下法因子分解）が支配的であることに起因する—この演算は実行時間の80％以上を占め、他のコンponent（spmv、chuzc、update-dual）は合計で5％未満—これによりftran-dseが主なボトルネックであることが明らかになった。
• PAMIおよびSIP技術のFICO Xpressソルバーへの統合により、商業的に顕著な性能向上が達成された。FICOは広告およびブログでこの成果を公式に発表しており、研究の実世界へのインパクトを裏付けている。
• ミッテルマンによる独立ベンチマークでは、これらの技術を統合した強化版Xpressソルバーが、プリプロセッシングおよびクラッシュ機能を有効にした状態でも、CPLEXの逐次性能と同等またはそれを上回ることを確認しており、本アプローチの堅牢性とスケーラビリティを検証している。