[論文レビュー] Leveraging GPU batching for scalable nonlinear programming through massive Lagrangian decomposition

Youngdae Kim, François Pacaud+2 more|arXiv (Cornell University)|Jun 28, 2021

Parallel Computing and Optimization Techniques参考文献 38被引用数 14

ひとこと要約

本稿では、バッチ処理された境界制約付き非線形プログラミングのためのGPUアクセラレート型信頼領域ニュートン解法ExaTronを提案する。CPU-GPU間のデータ転送を一切行わず、GPU上で完全に実行される。巨大なGPUスレッドバッチ処理と効率的なカーネル設計を活用することで、AC最適潮流分解において6 GPUで40 CPUよりも35倍以上の高速化を達成した。バッチサイズおよびGPU数に伴う線形スケーリングを示した。

ABSTRACT

We present the implementation of a trust-region Newton algorithm ExaTron for bound-constrained nonlinear programming problems, fully running on multiple GPUs. Without data transfers between CPU and GPU, our implementation has achieved the elimination of a major performance bottleneck under a memory-bound situation, particularly when solving many small problems in batch. We discuss the design principles and implementation details for our kernel function and core operations. Different design choices are justified by numerical experiments. By using the application of distributed control of alternating current optimal power flow, where a large problem is decomposed into many smaller nonlinear programs using a Lagrangian approach, we demonstrate computational performance of ExaTron on the Summit supercomputer at Oak RidgeNational Laboratory. Our numerical results show the linear scaling with respect to the batch size and the number of GPUs and more than 35 times speedup on 6 GPUs than on 40 CPUs available on a single node.

研究の動機と目的

• 大規模な小規模非線形計画問題のバッチ処理における性能ボトルネックを解消するため、CPU-GPU間のデータ転送を排除すること。
• メモリ制限下のシナリオにおいて、大規模なGPU並列処理を用いたスケーラブルかつ高スループットの非線形計画問題の解法を可能にすること。
• ハイブリッドCPU-GPU実行を回避し、データ移動に起因する遅延を低減する、完全にGPUベースの信頼領域ニュートンアルゴリズムの設計。
• スーパーコンピュータプラットフォーム上でのバッチサイズおよびGPU数に伴う計算時間の線形スケーリングを実証すること。
• ラグランジュ分解を用いた実世界の最適潮流問題において、CPUベースの実装と比較して顕著な高速化を達成すること。

提案手法

• 境界制約付き非線形計画問題の完全にGPUベースの信頼領域ニュートンアルゴリズムを実装し、CPU-GPU間のデータ転送を一切回避すること。
• 非線形計画問題に生じる小規模・スパース・対称不定KKTシステムに最適化されたカスタムGPUカーネルを設計すること。
• GPU全体の並列処理を活用するため、巨大なスレッドバッチ処理を採用し、バッチ内の各問題を1つのスレッドブロックに対応させること。
• ADMMを用いたラグランジュ分解により、大規模なAC最適潮流問題を数千もの小規模な部分問題に分割すること。
• Summitスーパーコンピュータのノードあたり6 GPUを活用し、効率的なGPU間通信を用いて複数GPUにわたる計算スケーリングを実現すること。
• メモリアクセスパターンおよびカーネル起動設定を最適化し、GPUアーキテクチャ上の遅延を最小限に抑え、負荷率を最大化すること。

実験結果

リサーチクエスチョン

• RQ1 完全にGPUベースの非線形計画問題ソルバは、小規模な問題の大量バッチ処理において、CPUベースの実装と比較して顕著な高速化を達成できるか？
• RQ2 メモリ制限下の非線形計画問題ワークロードにおいて、CPU-GPU間データ転送の不在が性能に与える影響はいかほどか？
• RQ3 GPUバッチ処理は、非線形最適化においてバッチサイズおよびGPU数の両方に対して線形スケーリングを実現できるか？
• RQ4 数千もの小規模・スパース非線形計画問題を同時に解く際、GPUの利用効率を最大化し、負荷不均衡を最小限に抑えるための設計原則は何か？
• RQ5 1つのハイエンドノード上でMPI並列化されたCPUベースの実装と比較して、GPUベースのソルバの性能はどの程度か？

主な発見

• ExaTronは、Summitノード1台でAC最適潮流分解において6 GPUで40 CPUよりも35倍以上の高速化を達成した。
• 計算時間はバッチサイズおよびGPU数の両方に対して線形にスケーリングされ、強力な並列効率が確認された。
• 19402goc問題ではGPU間の負荷バランスが最も良く、平均不均衡指標がわずか9.04%にとどまり、優れた高速化に寄与した。
• 13659pegase問題では顕著な負荷不均衡が見られ、2つのGPUが他のGPUと比べてほぼ2倍の時間を要しており、問題サイズが大きくても高速化が制限された。
• ADMMイテレーションのヒートマップ可視化により、GPU間での計算時間の差が一貫して確認され、負荷不均衡が裏付けられた。
• 本研究は、メモリ制限下の小規模問題バッチ処理において、CPU-GPU間データ転送を排除することが性能向上に不可欠であることを確認した。