[論文レビュー] Understanding Data Movement in Tightly Coupled Heterogeneous Systems: A Case Study with the Grace Hopper Superchip

Luigi Fusco, Mikhail Khalilov+4 more|arXiv (Cornell University)|Aug 21, 2024

Modular Robots and Swarm Intelligence被引用数 4

ひとこと要約

この論文は、アルプススーパーコンピュータにおけるQuad GH200ノードの包括的な性能特性を評価し、CPU、GPU、および非均質メモリタイプ（HBM、DDR）間のメモリアクセスパターンを分析している。カスタムマイクロベンチマークを用いて、特に同じグレース・ハッパーチャイルド・スーパーシリーズ内でのデータ配置と局所性が性能に顕著な影響を与えることを示しており、C2Cインタコネクトが高帯域幅かつ低遅延なアクセスを可能にし、LLM推論やNCCLコラボレーティブなどメモリバウンドワークロードの性能を解き放つことを明らかにしている。

ABSTRACT

Heterogeneous supercomputers have become the standard in HPC. GPUs in particular have dominated the accelerator landscape, offering unprecedented performance in parallel workloads and unlocking new possibilities in fields like AI and climate modeling. With many workloads becoming memory-bound, improving the communication latency and bandwidth within the system has become a main driver in the development of new architectures. The Grace Hopper Superchip (GH200) is a significant step in the direction of tightly coupled heterogeneous systems, in which all CPUs and GPUs share a unified address space and support transparent fine grained access to all main memory on the system. We characterize both intra- and inter-node memory operations on the Quad GH200 nodes of the new Swiss National Supercomputing Centre Alps supercomputer, and show the importance of careful memory placement on example workloads, highlighting tradeoffs and opportunities.

研究の動機と目的

• 密結合された非均質システムにおけるデータ移動の性能特性を理解すること。特にグレース・ハッパーチャイルド・スーパーシリーズ（GH200）に焦点を当てる。
• LLM推論やNCCLコラボレーティブなどの実世界ワークロードに影響を与えるメモリ割り当てポリシーおよびデータ配置戦略の影響を評価すること。
• HBMおよびDDRを含むさまざまなメモリタイプと、CPUおよびGPUなどの処理ユニット間でのノード内およびノード間メモリ操作の性能差を定量すること。
• NVLink-C2Cインタコネクトが、非均質プロセッシングユニット間で効果的かつ低遅延かつキャッシュコherentなアクセスを可能にし、統一されたメモリアクセスを実現することを検証すること。

提案手法

• CPU、GPU、HBM、DDRのすべての組み合わせにおける読み取り、書き込み、コピー操作の性能を測定するための包括的なマイクロベンチマークの設計および実行。
• データパス指向のアプローチを用い、測定された性能を基盤のハードウェアインタコネクト（NVLink-C2C、Slingshot）の理論的帯域幅および遅延限界と照合する。
• PyTorchのプラグイン可能アロケータを用いてHBM（GPUメモリ）上のメモリ割り当てと、DDR（CPUメモリ）上のNUMA対応アロケーションを制御し、データ配置に関する制御された実験を可能にする。
• ノード内およびノード間構成におけるNCCLアランドゥスおよびアラーゲザー操作の性能を測定し、スケーラビリティおよび局所性の影響を評価する。
• Llama2-7bおよびLlama2-13bを用いたLLM推論ワークロードを、さまざまなメモリ割り当て戦略で実行し、実世界の性能への影響を評価する。
• 観察された性能を、システムの物理的データパスおよびインタコネクト能力から導出された理論的限界と比較することで、結果の妥当性を検証する。

Figure 2: Maximum bandwidth plotted against access latency achieved by Grace (left) and Hopper (right) to different memories of the system. The suffix ”-p” indicates memory on a peer GH200.

実験結果

リサーチクエスチョン

• RQ1 CPU、GPU、HBM、DDR間のGH200ノード内でのデータ配置が、合成ワークロードおよびアプリケーションワークロードにおけるメモリアクセス性能にどのように影響を与えるか？
• RQ2 NVLink-C2Cインタコネクトは、密結合システムにおけるCPUとGPU間で、どの程度低遅延かつ高帯域幅かつキャッシュコherentなアクセスを可能にしているか？
• RQ3 メモリアクセスパターンおよび割り当てポリシーは、LLM推論やNCCLコラボレーティブなどのメモリバウンドワークロードの性能にどのように影響を与えるか？
• RQ4 スーパーシリーズ内（intra-Superchip）とスーパーシリーズ間（inter-Superchip）のメモリアクセスの相対的な性能はどの程度で、集約通信操作にどのように影響を与えるか？

主な発見

• 同じGH200内でのスーパーシリーズ内メモリアクセスは、異なるスーパーシリーズ間のピアアクセスよりも顕著に高い帯域幅と低い遅延を示し、特にHBMおよびDDRにおいて顕著である。
• LLM推論においては、メモリアクセス速度が性能に明確な影響を与える。最適なデータ配置により、非最適な構成と比較して推論時間が最大20％短縮される。
• NCCLアランドゥスおよびアラーゲザー操作の結果、ピアDDRアクセスはスケーラビリティを著しく制限するが、同じGH200内でのアクセスは、HBMまたはDDRの種別にかかわらず、ほぼピーク性能に達する。
• C2Cインタコネクトにより、任意のPUからすべてのシステムメモリに対して透過的かつ高帯域幅のアクセスが可能となり、データが処理ユニットに近接して配置されている場合、理論的限界に近い性能が得られる。
• Tensorコアを用いたワークロードでは、行列がHBMからDDRに移動するとメモリバウンド状態に陥り、高帯域幅メモリであっても性能が著しく低下する。
• 大容量のメモリ割り当てでは、PyTorchのプラグイン可能アロケータが同期オーバーヘッドを発生させ、直接のcudaMallocに比べて性能が低下するが、メモリ配置の制御実験を可能にする。

Figure 3: Theoretical bandwidth bound for (left to right) read and write operations, copy operations issued by a Grace, and copy operations issued by a Hopper. Bounds depend on the datapath, which in turn depends on the types of memories involved. The bounds are shown in GB/s and include the limitin