[論文レビュー] GPCG: A Case Study in the Performance and Scalability of Optimization Algorithms

Steven J. Benson, Lois Curfman McInnes+1 more|ArXiv.org|Jan 19, 2001

Advanced Optimization Algorithms Research参考文献 8被引用数 4

ひとこと要約

本稿では、PETScの並列線形代数インfra構造を活用して、境界制約付き凸二次計画法のための勾配投影共役勾配法の並列実装であるGPCGを提示する。64プロセッサまでで高いスケーラビリティと効率性を示し、250万変数を超える問題を解く。ブロックヤコビ条件付け法は対角法に比べて解法時間を顕著に短縮する。

ABSTRACT

GPCG is an algorithm within the Toolkit for Advanced Optimization (TAO) for solving bound constrained, convex quadratic problems. Originally developed by More' and Toraldo, this algorithm was designed for large-scale problems but had been implemented only for a single processor. The TAO implementation is available for a wide range of high-performance architecture, and has been tested on up to 64 processors to solve problems with over 2.5 million variables.

研究の動機と目的

• 並列アーキテクチャ上での大規模な境界制約付き二次計画法のパフォーマンスとスケーラビリティの課題を解決すること。
• 動的プロセッサ間での減少ヘッシアン行列の再配分に起因するアクティブセット法のスケーラビリティ制限を克服すること。
• 最適化ソフトウェアにおいて、高性能線形代数および並列コンピューティングインfraの効率的再利用を可能にすること。
• スケーラブルな並列環境下での収束速度と解法時間に及ぼす異なる条件付け法の影響を評価すること。
• 外部ツールキットを用いたオブジェクト指向設計が、大規模最適化において効率的で、移植可能で拡張性のあるものであることを示すこと。

提案手法

• オブジェクト指向抽象化を用いてPETScの並列線形代数操作にインターフェースを提供する。
• MPIを用いてプロセッサ間通信を実装し、PETScの分散スパース行列および条件付け法のサポートを活用する。
• 行列格納形式（ブロックスパースや構造的スパースなど）の柔軟な実験を可能にする、データ構造に依存しないインターフェースを採用する。
• 収束を改善するために、対角ヤコビ、ILU(0)およびILU(2)サブドメインソルバーを用いたブロックヤコビ条件付け法を適用する。
• 自由変数の集合が反復間で変化する際、負荷バランスを維持するために、プロセッサ間で行列行を動的に再配分する。
• 4から64プロセッサの範囲で、GPCG反復回数、共役勾配反復回数、総解法時間、およびスケーラビリティの観点からパフォーマンスを測定する。

実験結果

リサーチクエスチョン

• RQ1 GPCGのパフォーマンスは、プロセッサ数と問題サイズの増加に伴ってどのようにスケーリングするか？
• RQ2 並列環境下でのGPCGの収束速度と総解法時間に、異なる条件付け法が及ぼす影響は何か？
• RQ3 減少ヘッシアン行列の動的再配分は、スケーラビリティを維持するために効率的に管理できるか？
• RQ4 解におけるアクティブ変数の数は、GPCGのパフォーマンスとスケーラビリティにどのように影響するか？
• RQ5 外部線形代数ツールキット（例：PETSc）は、大規模最適化アルゴリズムの開発とパフォーマンス向上に、どの程度寄与できるか？

主な発見

• 異なる条件付け法やプロセッサ数に対しても、GPCG反復回数はほぼ一定（21–27）を維持しており、収束の安定性が確認された。
• ILU(2)サブドメインソルバーを用いたブロックヤコビ条件付け法は、対角ヤコビ条件付け法に比べて解法時間を約50％短縮したが、セットアップコストはやや高かった。
• 640,000変数の場合、16プロセッサでブロックヤコビ＋ILU(2)は128秒、対角ヤコビは364秒の解法時間を記録した。
• より優れた条件付け法では共役勾配反復回数が顕著に減少した：対角法で6,312回、ブロックヤコビ＋ILU(0)で6,712回、ブロックヤコビ＋ILU(2)で2,303回。
• 実装は高い効率性を達成し、わずか8プロセッサで250万以上の変数を持つ問題を解くことができ、反復法の低メモリ要件を示した。
• スケーラビリティは再配分オーバーヘッドだけでなく、アクティブセットのサイズにも制限を受けており、自由変数の数が増えるほどパフォーマンスが向上した。