[論文レビュー] Dissecting GPU Memory Hierarchy through Microbenchmarking

Xinxin Mei, Xiaowen Chu|arXiv (Cornell University)|Sep 8, 2015

Parallel Computing and Optimization Techniques参考文献 24被引用数 5

ひとこと要約

本論文は、NVIDIAのFermi、Kepler、Maxwell GPUのメモリハーキテクチャを逆引きするための細分化されたポインタチェーシングマイクロベンチマークを導入する。本研究では、従来未知であったキャッシュ動作—例えば、非伝統的なL1データキャッシュのリプレースポリシーおよびテクスチャキャッシュにおける2次元空間局所性—を明らかにし、Maxwellアーキテクチャがバンク競合下での共有メモリの遅延を顕著に低減していることを示している。FermiおよびKeplerと比較して、性能と効率の両面で優れている。

ABSTRACT

Memory access efficiency is a key factor in fully utilizing the computational power of graphics processing units (GPUs). However, many details of the GPU memory hierarchy are not released by GPU vendors. In this paper, we propose a novel fine-grained microbenchmarking approach and apply it to three generations of NVIDIA GPUs, namely Fermi, Kepler and Maxwell, to expose the previously unknown characteristics of their memory hierarchies. Specifically, we investigate the structures of different GPU cache systems, such as the data cache, the texture cache and the translation look-aside buffer (TLB). We also investigate the throughput and access latency of GPU global memory and shared memory. Our microbenchmark results offer a better understanding of the mysterious GPU memory hierarchy, which will facilitate the software optimization and modelling of GPU architectures. To the best of our knowledge, this is the first study to reveal the cache properties of Kepler and Maxwell GPUs, and the superiority of Maxwell in shared memory performance under bank conflict.

研究の動機と目的

• 現代のNVIDIA GPUの非文書化されたメモリハーキテクチャを逆引きすること、特にキャッシュ構造とメモリアクセス特性に焦点を当てる。
• GPUの計算能力とメモリ帯域幅の差が引き起こす性能ボトルネックを解消することにより、アプリケーションの効率を向上させること。
• 複数世代にわたるGPUにおけるメモリスループット、遅延、キャッシュ動作を測定する再現可能で細分化された手法を提供すること。
• Fermi、Kepler、Maxwell GPU間のアーキテクチャ的進化を比較し、性能最適化からエネルギー効率へのシフトを浮き彫りにすること。
• 隠れたハードウェア動作を露呈させることで、ソフトウェア最適化とGPUアプリケーションのモデリングに役立つ実用的洞察を提供すること。

提案手法

• GPU固有のメモリハーキテクチャに適合した、新しい細分化されたポインタチェーシング（P-chase）マイクロベンチマークを設計・実装し、キャッシュ動作を調査する。
• P-chase技術を用いて、アクセスパターンと遅延の変動を分析することで、アソシエイティビティ、ラインサイズ、リプレースポリシーなどのキャッシュパラメータを同定する。
• ストライドやバンク競合のシナリオを含む、さまざまなアクセスパターンにおけるグローバルメモリおよび共有メモリのスループットと遅延を測定する。
• バンク競合の影響を分離するために、アクセスパターン（例：ストライドサイズ、データアラインメント）を体系的に変化させる。
• Fermi、Kepler、Maxwellの3世代のNVIDIA GPUにわたってマイクロベンチマークを適用し、アーキテクチャ間比較を可能にする。
• 繰り返し実験による結果の妥当性を検証し、再現可能性を確保するため、公開用のソースコードとデータを提供する。

実験結果

リサーチクエスチョン

• RQ1 現代のNVIDIA GPUに内在するキャッシュ構造（例：L1データキャッシュ、テクスチャキャッシュ、TLB）は何か。また、それらはCPUキャッシュモデルとどのように異なるか。
• RQ2 共有メモリのバンク競合がアクセス遅延に与える影響は何か。また、どのようなアーキテクチャ的最適化がこの問題を緩和するか。
• RQ3 Fermi、Kepler、Maxwell GPUにおけるグローバルメモリおよび共有メモリの実際のスループットと遅延特性は何か。
• RQ4 FermiからMaxwellにかけてのGPUメモリハーキテクチャの進化は、帯域幅、容量、効率の観点からどのように変化したか。
• RQ5 Maxwellアーキテクチャは、FermiおよびKeplerと比較して、共有メモリのバンク競合に起因する性能ペナルティをどの程度低減しているか。

主な発見

• GPUのL1データキャッシュは、標準的なCPUキャッシュ動作とは異なる非伝統的なリプレースポリシーを採用している。
• テクスチャL1キャッシュは、2次元空間局所性を最適化したセットアソシエイティブマッピングを採用しており、2次元データパターンに対するアクセス効率が向上している。
• GPUのL2 TLBは不均等なセットで構成されており、異なるメモリ領域間で非一様なメモリアクセス動作を示している。
• 共有メモリのアクセス遅延は、潜在的なバンク競合の数にほぼ線形に増加し、Fermiでは32ウェイの競合で最大1209サイクルの遅延が発生する。
• Keplerの8バイトモードは、共有メモリバンク幅を2倍にすることでバンク競合の発生確率を低下させ、Fermiの4バイトモードよりも性能が向上している。
• Maxwellの共有メモリは高度に最適化されており、32ウェイのバンク競合下でもL1データキャッシュレベル（30サイクル）の遅延を維持している。これは、Fermi（90サイクル）およびKepler（42サイクル）と比較して、はるかに優れた競合緩和性能を示している。