[論文レビュー] Global finite element matrix construction based on a CPU-GPU implementation

Francisco Javier Ramírez-Gil, Marcos de Sales Guerra Tsuzuki+1 more|arXiv (Cornell University)|Jan 20, 2015

Matrix Theory and Algorithms参考文献 4被引用数 4

ひとこと要約

本稿では、3次元非構造格子用のグローバルな有限要素行列の構築を高速化するため、CPU-GPU非対称コンピューティングアプローチを提案する。GPUに並列的な数値積分をオフロードし、CPUで逐次的な行列構築を行うことで、CPUオンリーの計算に比べ最大126倍の高速化を達成し、2GBのGPUメモリのみで最大2700万要素の行列構築が可能となった。

ABSTRACT

The finite element method (FEM) has several computational steps to numerically solve a particular problem, to which many efforts have been directed to accelerate the solution stage of the linear system of equations. However, the finite element matrix construction, which is also time-consuming for unstructured meshes, has been less investigated. The generation of the global finite element matrix is performed in two steps, computing the local matrices by numerical integration and assembling them into a global system, which has traditionally been done in serial computing. This work presents a fast technique to construct the global finite element matrix that arises by solving the Poisson's equation in a three-dimensional domain. The proposed methodology consists in computing the numerical integration, due to its intrinsic parallel opportunities, in the graphics processing unit (GPU) and computing the matrix assembly, due to its intrinsic serial operations, in the central processing unit (CPU). In the numerical integration, only the lower triangular part of each local stiffness matrix is computed thanks to its symmetry, which saves GPU memory and computing time. As a result of symmetry, the global sparse matrix also contains non-zero elements only in its lower triangular part, which reduces the assembly operations and memory usage. This methodology allows generating the global sparse matrix from any unstructured finite element mesh size on GPUs with little memory capacity, only limited by the CPU memory.

研究の動機と目的

• 線形系の解法の進歩にもかかわらず、依然として十分に検討されていないグローバルな有限要素行列構築における性能ボトルネックを解消すること。
• 大規模な非構造格子3次元メッシュを処理する際のGPUメモリ制限を、CPUとGPUのワークロードを効果的に統合することで克服すること。
• 限られたGPUリソースを活用した非対称コンピューティングにより、大規模なスパースグローバル行列をスケーラブルかつメモリ効率よく構築するための方法を開発すること。
• 低メモリGPUを搭載した標準的なパーソナルコンピュータ上で、CPUメモリを活用してスケーラビリティを確保することで、高性能なFEM行列生成を実現すること。

提案手法

• 有限要素行列構築を2段階に分解する：数値積分による局所行列計算とグローバル行列のアセンブリ。
• 数値積分（並列性が極めて高い）をGPUに実装し、各要素の剛性行列の下三角部分のみを計算することで、メモリと時間の節約を図る。
• アセンブリ処理は本質的に逐次的かつメモリ集約的であるため、CPUで実行し、GPUメモリのボトルネックを回避する。
• 行列の対称性を活用する：局所およびグローバル剛性行列が対称であることに着目し、下三角部分のみを保存・アセンブリすることで、メモリ使用量と演算量を削減する。
• 非同期キーナールーチンの起動により、GPUの計算（数値積分）とCPUの計算（アセンブリ）を重ねて実行し、全体のスループットを向上させる。
• 利用可能なGPUメモリに基づいて大規模メッシュをグループに分割し、CPUメモリに依存することで、GPUメモリを超える行列の構築を可能にする。

実験結果

リサーチクエスチョン

• RQ1 CPU-GPU非対称アーキテクチャは、非構造格子3次元メッシュ用の大規模グローバル有限要素行列の構築を顕著に高速化できるか？
• RQ2 GPUベースの有限要素行列生成において、行列の対称性をどのように活用することで、メモリ使用量と計算コストを削減できるか？
• RQ3 GPUメモリが限られている状況下で、この手法はどの程度スケーラブルであり、CPUメモリはそのスケーリングにおいて果たす役割は何か？
• RQ4 数値積分をGPUにオフロードし、逐次的アセンブリをCPUに残すことで、どの程度の性能向上が達成できるか？
• RQ5 このアプローチは、ポアソン方程式を越えて、他のPDEや行列タイプ（例：質量行列）に対しても一般化可能か？

主な発見

• 提案手法は、数値積分のシリアルCPU実装に比べ、最大126倍、平均121倍の高速化を達成し、GPUの高い利用度を示した。
• 数値積分ルーチンは、行列生成時間全体の62–82％を占めており、アセンブリルーチンは17–38％にとどまっていることから、数値積分が主な性能ボトルネックであると判明した。
• スパース行列アセンブリ関数（sparse_create）は非常に効率的で、2700万要素のケースですら20秒未満で完了し、数値積分フェーズの時間の約5分の1にとどまった。
• 本手法は、2GBのGPUメモリのみで、2727万ノードおよび2700万個の3次元要素を持つグローバルスパース行列を正常に構築できた。この制限はCPUメモリ容量に起因した。
• GPUキーナールーチンの非同期実行により、数値積分と行列アセンブリの実行を重ねることができ、リソースの利用効率が向上し、無駄な待機時間が削減された。
• 本手法は一般化可能である：静的問題の剛性行列や動的問題の質量行列の構築に応用可能であり、FEMを用いた他のPDEに対しても適用可能である。