[論文レビュー] Ginkgo: A Modern Linear Operator Algebra Framework for High Performance Computing

Hartwig Anzt, Terry Cojean+7 more|arXiv (Cornell University)|Jun 30, 2020

Distributed and Parallel Computing Systems被引用数 11

ひとこと要約

Ginkgo は、GPU やマルチコアアーキテクチャを対象としたハイパフォーマンスコンピューティング向けの現代的な C++ ライブラリであり、すべての線形代数演算を合成可能な線形演算子として抽象化することで、異なるアーキテクチャ間でのパフォーマンスポータビリティを実現する。Ginkgo は、ハードウェア固有のカーネル最適化とモジュラーで拡張可能な設計により、NVIDIA V100 や AMD Radeon VII の最新 GPU でも高いパフォーマンスを達成し、SpMV および Krylov スolver のパフォーマンスが競争力を持つことを示している。

ABSTRACT

In this paper, we present Ginkgo, a modern C++ math library for scientific high performance computing. While classical linear algebra libraries act on matrix and vector objects, Ginkgo's design principle abstracts all functionality as "linear operators", motivating the notation of a "linear operator algebra library". Ginkgo's current focus is oriented towards providing sparse linear algebra functionality for high performance GPU architectures, but given the library design, this focus can be easily extended to accommodate other algorithms and hardware architectures. We introduce this sophisticated software architecture that separates core algorithms from architecture-specific back ends and provide details on extensibility and sustainability measures. We also demonstrate Ginkgo's usability by providing examples on how to use its functionality inside the MFEM and deal.ii finite element ecosystems. Finally, we offer a practical demonstration of Ginkgo's high performance on state-of-the-art GPU architectures.

研究の動機と目的

• 最新のマルチコアアクセラレータ（GPU など）に特化した高性能スパース線形代数ライブラリの需要増加に対応すること。
• 数値アルゴリズムとハードウェア固有のカーネルを分離することで、正しさ、パフォーマンスポータビリティ、拡張性を実現するソフトウェアフレームワークを設計すること。
• 線形演算子抽象化を用いたユーザーフレンドリーで合成可能なインターフェースを提供し、ソルバーやプリコンディショナー、行列演算を対象とすること。
• きめ細かいテスト、継続的インテグレーション、ベンチマーキングを通じて、持続可能なソフトウェア開発を保証すること。
• MFEM や deal.ii といった主要な科学技術計算エコシステムへのシームレスな統合を可能にすること。

提案手法

• すべての線形代数機能を「線形演算子」として抽象化することで、ソルバーやプリコンディショナー、行列ベクトル積、再順序付けを統一されたインターフェースで統合する。
• プラグイン型の設計により、コアアルゴリズムとアーキテクチャ固有のバックエンドを分離し、CUDA、HIP、OpenMP でのパフォーマンス最適化カーネルを実装可能にする。
• スマートポインタとメモリの渡し方をデコレートする仕組みを採用し、デバイス間で安全で細粒度のメモリ管理を実現する。
• エクsekutor抽象化を用いて、CPU や GPU を含む多様なハードウェア上で透過的に実行可能にする。
• 継続的ベンチマーキングと自動テストを統合し、コード品質と長期的な持続可能性を確保する。
• パラメータしきい値に基づく ILU（ParILUT）や、条件数と指数範囲に応じて精度を自動適応するブロック・ヤコビといった高度なプリコンディショニング手法をサポートする。

実験結果

リサーチクエスチョン

• RQ1 どのようなアプローチで、多様な GPU やマルチコアアーキテクチャ間で高いパフォーマンスとポータビリティを達成できるか？
• RQ2 統一された線形演算子抽象化は、ソルバーやプリコンディショナーの実装と合成を単純化できるか、かつパフォーマンスを維持できるか？
• RQ3 Ginkgo がアルゴリズムとハードウェアバックエンドを分離することで、正しさ、保守性、拡張性にどのような影響を与えるか？
• RQ4 最新の GPU アーキテクチャにおいて、cuSPARSE らしい既存のライブラリと比較して、Ginkgo はどの程度のパフォーマンス向上を達成できるか？
• RQ5 Ginkgo は、MFEM や deal.ii といった既存の有限要素ソフトウェアスタックにどの程度統合可能か？

主な発見

• Ginkgo は NVIDIA V100 および AMD Radeon VII GPU で高いパフォーマンスを達成しており、V100 ではコピー演算で最大 790.475 GB/s、Radeon VII では 841.669 GB/s のスループットを記録している。
• コピー演算では Radeon VII が V100 より 6% 高速であるが、ドット積演算では 25% 低速であり、これは独立スレッドスケジューリングの制限によるもので、Krylov スolver のパフォーマンスに影響を与えている可能性がある。
• Ginkgo の ParILUT プリコンディショナーは、異方性流れ問題における GMRES 収束を顕著に高速化し、2 世代にわたる NVIDIA GPU で標準の cuSPARSE ILU を上回っている。
• Ginkgo のブロック・ヤコビ プリコンディショナーは、条件数と指数範囲に応じて精度を自動的に適応させるため、固定精度の代替手法よりもメモリアクセス時間を短縮し、パフォーマンスを向上させている。
• Ginkgo のガウス・ジョルダン消去法による対角ブロック逆行列化は、バッチ処理で可変サイズのカーネルを高度に最適化しており、GPU 上での効率的なプリコンディショナー生成を可能にしている。
• このライブラリの設計により、MFEM や deal.ii へのシームレスな統合が実現され、実世界の有限要素アプリケーションにおける実用性が実証された。