[論文レビュー] A scalable H-matrix approach for the solution of boundary integral equations on multi-GPU clusters

Helmut Harbrecht, Peter Zaspel|arXiv (Cornell University)|Jun 20, 2018

Electromagnetic Scattering and Analysis参考文献 27被引用数 3

ひとこと要約

本稿では、境界積分方程式を境界要素法（BEM）で解くためのスケーラブルで、マルチGPU、分散メモリ型のH行列ライブラリ（hmglib）を提示する。単一GPU用H行列ライブラリを拡張し、タスクベース実行を用いた分散メモリ並列処理を実装し、128から1024GPUにスケーリングする際、相対的な高速化率が67%以上に達し、Titanスーパーコンピュータ上で150万未知数の問題を6分未満で解ける。

ABSTRACT

In this work, we consider the solution of boundary integral equations by means of a scalable hierarchical matrix approach on clusters equipped with graphics hardware, i.e. graphics processing units (GPUs). To this end, we extend our existing single-GPU hierarchical matrix library hmglib such that it is able to scale on many GPUs and such that it can be coupled to arbitrary application codes. Using a model GPU implementation of a boundary element method (BEM) solver, we are able to achieve more than 67 percent relative parallel speed-up going from 128 to 1024 GPUs for a model geometry test case with 1.5 million unknowns and a real-world geometry test case with almost 1.2 million unknowns. On 1024 GPUs of the cluster Titan, it takes less than 6 minutes to solve the 1.5 million unknowns problem, with 5.7 minutes for the setup phase and 20 seconds for the iterative solver. To the best of the authors' knowledge, we here discuss the first fully GPU-based distributed-memory parallel hierarchical matrix Open Source library using the traditional H-matrix format and adaptive cross approximation with an application to BEM problems.

研究の動機と目的

• 数百万の未知数を含む大規模BEM問題における高い計算コストとメモリ要件を低減する。
• 単一ノードGPU計算の限界を克服し、マルチGPUクラスタにわたる分散メモリ並列処理を可能にする。
• 既存の単一GPU用hmglibライブラリを拡張し、行列要素評価および自由度の幾何的位置をアクセスする一般インターフェースを提供することで、任意のBEMアプリケーションコードへの統合を可能にする。
• BEM離散化から生じる線形方程式系の階層行列構築および解法において、大規模GPUクラスタ上で高い並列効率とスケーラビリティを達成する。
• 適応的交差近似（ACA）および階層行列形式を用いた、完全にGPUベースの分散メモリH行列計算を実現し、オープンソースとして公開する。

提案手法

• hmglibライブラリを拡張し、複数GPUにわたるタスクベース実行モデルを用いた分散メモリ並列処理を実装する。
• 行列要素評価および自由度の幾何的位置を公開する一般インターフェースを実装し、任意のBEMコードへの統合を可能にする。
• BEM応用において極めて重要である、密行列（非適応的）ブロックおよび低ランク（適応的）ブロックの事前計算およびGPUメモリ上への格納を可能にする。
• 伝統的なH行列形式に適応的交差近似（ACA）を適用し、純代数的低ランク行列圧縮を実現し、O(N log N)の行列ベクトル積を可能にする。
• 密行列演算およびACAに基づく低ランク近似にGPUアクセラレートカーネルを活用し、GPUノード間での負荷分散を実現する。
• 拡張されたhmglibを、区分定数境界要素に基づくモデルGPU BEMソルバーと統合し、共役勾配法（CG）などの反復解法を用いる。

実験結果

リサーチクエスチョン

• RQ1 大規模BEM問題に対して、GPUアクセラレートH行列ライブラリが分散メモリクラスタに効果的にスケーリング可能か。
• RQ2 タスクベースでマルチGPU化されたH行列実装を用いて、128から1024GPUにスケーリングした際の並列高速化率はどの程度達成できるか。
• RQ3 実世界の形状およびモデル形状の両方において、100万以上の未知数を含む問題について、拡張されたhmglibライブラリのセットアップ時間および解法時間はどのように比較されるか。
• RQ4 バッチ処理およびタスクベース並列処理をGPUで使用する際の負荷分散および性能スケーリングの主なボトルネックは何か。
• RQ5 提案手法は、大規模BEM問題におけるH行列セットアップ段階および反復ソルバー段階の両方で高い効率性を達成できるか。

主な発見

• 150万未知数のモデル立方体幾何形状において、128から1024GPUにスケーリングした際、拡張されたhmglibライブラリは67%以上の相対的並列高速化を達成した。
• 118万未知数の実世界のギアホイール形状において、128から1024GPUにスケーリングした際、ライブラリは68%以上の相対的高速化を達成した。
• 1024GPUで150万未知数の問題を6分未満で解法可能であり、H行列セットアップに5.7分、CG反復ソルバーに20秒を要した。
• 1024GPUで実世界のギアホイール問題（118万未知数）を全解法するには8.8分を要し、セットアップに8.3分、CG解法に29秒未満を要した。
• 性能分析の結果、密行列演算は良好に負荷分散されていた（ピーク約15秒）、一方でACA近似では顕著な負荷不均衡が見られ、一部のGPUが300秒以上を要した。
• 本研究は、提案されたマルチGPUH行列アプローチが大規模BEM問題に対してスケーラブルかつ効率的であることを確認した。合成的および実世界の幾何形状の両方で優れた性能を発揮した。