[論文レビュー] ECM modeling and performance tuning of SpMV and Lattice QCD on A64FX

Christie Louis Alappat, Nils Meyer+5 more|arXiv (Cornell University)|Mar 4, 2021

Parallel Computing and Optimization Techniques参考文献 14被引用数 8

ひとこと要約

本稿では、A64FXプロセッサ上でスパース行列-ベクトル乗算（SpMV）および格子QCDドメインウォールカーネルの分析と最適化を目的とした実行-キャッシュ-メモリ（ECM）パフォーマンスモデルを提示する。アーキテクチャ的洞察とコンパイラチューニングを活用することで、著者らはSpMVにおいてSELL-C-σフォーマットがメモリ帯域幅の飽和を達成することを示した。一方、最適化されたデータレイアウトはQCDカーネルにおけるキャッシュ再利用とエネルギー効率を向上させ、A64FXがIntel Cascade Lake APを2倍の性能で上回り、メモリ制限型ワークロードではNVIDIA V100と同等の性能を達成することを可能にした。

ABSTRACT

The A64FX CPU is arguably the most powerful Arm-based processor design to date. Although it is a traditional cache-based multicore processor, its peak performance and memory bandwidth rival accelerator devices. A good understanding of its performance features is of paramount importance for developers who wish to leverage its full potential. We present an architectural analysis of the A64FX used in the Fujitsu FX1000 supercomputer at a level of detail that allows for the construction of Execution-Cache-Memory (ECM) performance models for steady-state loops. In the process we identify architectural peculiarities that point to viable generic optimization strategies. After validating the model using simple streaming loops we apply the insight gained to sparse matrix-vector multiplication (SpMV) and the domain wall (DW) kernel from quantum chromodynamics (QCD). For SpMV we show why the CRS matrix storage format is not a good practical choice on this architecture and how the SELL-C-sigma format can achieve bandwidth saturation. For the DW kernel we provide a cache-reuse analysis and show how an appropriate choice of data layout for complex arrays can realize memory-bandwidth saturation in this case as well. A comparison with state-of-the-art high-end Intel Cascade Lake AP and Nvidia V100 systems puts the capabilities of the A64FX into perspective. We also explore the potential for power optimizations using the tuning knobs provided by the Fugaku system, achieving energy savings of about 31% for SpMV and 18% for DW.

研究の動機と目的

• HPCワークロードにおける高帯域幅のArmアーキテクチャプロセッサ、A64FX CPUのパフォーマンス特性を理解すること。
• A64FXのキャッシュ階層、メモリ帯域幅、パワーマネジメント機能におけるアーキテクチャ的特徴と最適化の機会を特定すること。
• A64FXにおけるシングルコア定常ループのパフォーマンスに寄与する要因を分析するための実行-キャッシュ-メモリ（ECM）パフォーマンスモデルを構築・検証すること。
• ECMモデリングを活用し、データレイアウトとコンパイラチューニングに焦点を当ててSpMVおよび格子QCDドメインウォールカーネルを最適化すること。
• A64FXのパフォーマンスとエネルギー効率を、最先端のIntel Cascade Lake APおよびNVIDIA V100システムと比較すること。

提案手法

• A64FXにおける単一コアパフォーマンス寄与要因を分析するための実行-キャッシュ-メモリ（ECM）パフォーマンスモデルを構築した。
• SVEベクタユニット、順序外実行、セクタキャッシュ、ハードウェアバリア機能を含むA64FXの詳細なアーキテクチャ的分析を実施した。
• ストリーミングカーネルを用いてECMモデルを検証し、メモリ帯域幅およびキャッシュ動作の予測精度を確認した。
• ECMモデルをSpMVに適用し、CRSとSELL-C-σの行列フォーマットを評価。SELL-C-σによる帯域幅の飽和を同定した。
• キャッシュ再利用モデリングを用いて格子QCDドメインウォールカーネルを分析。ポート圧力を軽減するためのデータレイアウト（例：スプリットRRII）を検証した。
• Fugakuシステムのパワーチューニング・ノブを活用し、パフォーマンス損なわずにエネルギー消費を削減する方法を検討。コンパイラおよびデータレイアウト最適化を用いた。

実験結果

リサーチクエスチョン

• RQ1 A64FXのメモリ階層と高帯域幅（800+ GB/s）は、SpMVや格子QCDのようなメモリ制限型カーネルのパフォーマンスにどのように影響を与えるか？
• RQ2 なぜ標準的なCRSフォーマットはA64FXにおけるSpMVに非効率的であり、どのようなデータフォーマット（例：SELL-C-σ）がメモリ帯域幅の飽和を実現するのか？
• RQ3 格子QCDドメインウォールカーネルにおけるデータレイアウトの選択は、キャッシュ再利用とメモリポート圧力にどのように影響を与えるか？
• RQ4 Fugakuシステムのパワーチューニング・ノブを用いることで、パフォーマンスを損なわずエネルギー消費をどの程度削減できるか？
• RQ5 メモリ制限型HPCワークロードにおいて、A64FXはIntel Cascade Lake APおよびNVIDIA V100と比較してパフォーマンスとエネルギー効率でどの程度優れているか？

主な発見

• SELL-C-σ行列フォーマットは、A64FXにおけるSpMVでメモリ帯域幅の飽和を達成し、より良いデータアクセスパターンのおかげで標準的なCRSフォーマットを上回る性能を発揮した。
• A64FXは、大規模なメモリ制限型SpMVデータセットにおいてIntel Cascade Lake APを2倍の性能で上回り、NVIDIA V100と同等のパフォーマンスを達成した。
• 格子QCDドメインウォールカーネルにおける複雑な配列のスプリットRRIIデータレイアウトは、ポート圧力を軽減し、エネルギー効率を約20%向上させた。
• コンパイラの最適化品質はA64FXでは不十分である。GCCおよびFCCの両方とも効率的なコードを生成できず、特定のチューニングの必要性が浮き彫りになった。
• システムのノブによるパワーチューニングにより、SpMVでエネルギー消費を31%、ドメインウォールカーネルで18%削減でき、パフォーマンスへの影響は最小限に抑えられた。
• ECMモデルは、A64FXにおけるメモリ制限型および計算制限型カーネルの両方のパフォーマンスボトルネックを的確に同定し、効果的な最適化戦略を導くのに成功した。