[論文レビュー] Evaluating the Performance of NVIDIA's A100 Ampere GPU for Sparse Linear Algebra Computations

Yu‐Hsiang Tsai, Terry Cojean+1 more|arXiv (Cornell University)|Aug 19, 2020

Parallel Computing and Optimization Techniques参考文献 19被引用数 7

ひとこと要約

この論文は、スパース線形代数ワークロードにおけるNVIDIA A100 Ampere GPUの性能を評価しており、メモリ帯域幅、cuSPARSEおよびGinkgoのSpMVカーネル、および完全なKrylovソルバー反復処理に注目している。A100はV100に比べ最大1.7倍の高いメモリ帯域幅を達成し、メモリアクセスの改善と大容量キャッシュのおかげでKrylovソルバーが1.8倍以上高速化された。これは、メモリ制限の科学的HPCワークロードにおいて顕著な性能向上を示している。

ABSTRACT

GPU accelerators have become an important backbone for scientific high performance computing, and the performance advances obtained from adopting new GPU hardware are significant. In this paper we take a first look at NVIDIA's newest server line GPU, the A100 architecture part of the Ampere generation. Specifically, we assess its performance for sparse linear algebra operations that form the backbone of many scientific applications and assess the performance improvements over its predecessor.

研究の動機と目的

• スパース線形代数演算におけるNVIDIA A100 GPUの性能を評価すること。これは、科学的HPCにとって不可欠な要因である。
• Babel-STREAMベンチマークを用いて、前世代のV100 GPUと比較したメモリ帯域幅の向上を評価すること。
• Suite Sparse Matrix Collectionの2,800個の行列を用いて、cuSPARSEおよびGinkgoライブラリを用いたSpMVカーネルの性能を分析すること。
• A100におけるKrylovソルバーのエンドツーエンド性能を測定すること。SpMV、ベクトル演算、および直交化を含む。
• A100が、大容量キャッシュなどのアーキテクチャ的改善によって、単なる帯域幅向上を超えた性能向上を提供するかどうかを特定すること。

提案手法

• A100およびV100 GPUの両方で、最大8.2 GBの配列サイズを対象としたBabel-STREAMフレームワークを用いて、メモリ帯域幅をベンチマークした。
• SpMV性能を2つのライブラリを用いて評価した：NVIDIAのcuSPARSEとオープンソースのGinkgoライブラリ。Suite Sparse Matrix Collectionの2,800個のスパース行列を対象とした。
• Krylovソルバー統合と性能測定のベースラインとして、GinkgoのCOOフォーマットSpMVカーネルを使用した。
• プリコンディショナを有効・無効とした状態で、CG、BiCG、GMRESなどの完全なKrylovソルバー反復処理の実行時間を測定し、V100との比較によるスピードアップを分析した。
• SpMVおよびベクトル演算におけるA100とV100の性能比を分析し、メモリ帯域幅とキャッシュの改善が果たす寄与を特定した。
• 観察されたスピードアップを理論的帯域幅向上と比較し、純粋なメモリスループットを超えたアーキテクチャ的利点を評価した。

実験結果

リサーチクエスチョン

• RQ1 A100 GPUのメモリ帯域幅は、大容量ストリーミングメモリアクセスパターンにおいて、V100 GPUと比較してどの程度高いのか？
• RQ2 cuSPARSEおよびGinkgoのSpMVカーネルは、多様なスパース行列において、A100でV100に比べてどの程度の性能向上を達成するのか？
• RQ3 A100における完全なKrylovソルバー反復処理の全体的なスピードアップは、V100と比較してどの程度で、異なるKrylov法に応じてどのように変化するのか？
• RQ4 A100の大きなキャッシュは、1.7倍のメモリ帯域幅向上を超えて、測定可能な性能向上をもたらすのか？
• RQ5 SpMVおよびベクトル演算の性能向上が、実世界の科学的ワークロードにおける総合的なソルバーランタイムにどのように組み合わさるのか？

主な発見

• A100 GPUは、大容量配列に対してピークメモリ帯域幅1.4 TB/sを達成し、V100 GPUの840 GB/sと比較して1.7倍の向上を示した。
• SpMVカーネルにおいて、A100は1.7倍の帯域幅向上を上回る性能向上を示した。これは、向上したメモリアクセスパターンと大容量キャッシュのおかげである。
• GinkgoのKrylov反復ソルバーは、10個の大きな実世界の行列を対象に、A100 GPU上でV100 GPUよりも1.8倍以上高速に動作した。
• 短記録型Krylov法（例：CG、BiCG）のスピードアップは、ほぼ同一で1.8倍を超えて安定しており、SpMV性能に強く依存していることが示された。
• 直交化に依存度の高いGMRESは、異なるスピードアッププロファイルを示したが、依然として1.7倍を超えており、キャッシュおよびメモリ最適化が計算集約型フェーズに対しても恩恵をもたらしていることが示唆された。
• 性能向上は単にメモリ帯域幅によるものではなく、大容量キャッシュや改善されたメモリ階層といったアーキテクチャ的特徴が、SpMVおよび直交化カーネル性能に顕著に寄与している。