[論文レビュー] Exploring Modern GPU Memory System Design Challenges through Accurate Modeling

Mahmoud Khairy, Akshay Jain+2 more|arXiv (Cornell University)|Oct 16, 2018

Parallel Computing and Optimization Techniques参考文献 29被引用数 25

ひとこと要約

本論文は、NVIDIA Volta GPUの高度に詳細なメモリシステムモデルを備えたGPGPU-Sim GPUシミュレータの大幅な向上版を提案しており、メモリカウンターの誤差が最大66倍低減され、実ハードウェアと比較して実行サイクル誤差が2.5倍まで低減されている。改良されたモデルは、順序外メモリスケジューリング、適応的L1キャッシュ、セクタベースのキャッシュ構造といった高度な機能を捉え、従来のシミュレータがL1キャッシュの競合を過大評価し、洗練されたメモリスケジューリングの利点を過小評価していることが明らかになった。

ABSTRACT

This paper explores the impact of simulator accuracy on architecture design decisions in the general-purpose graphics processing unit (GPGPU) space. We perform a detailed, quantitative analysis of the most popular publicly available GPU simulator, GPGPU-Sim, against our enhanced version of the simulator, updated to model the memory system of modern GPUs in more detail. Our enhanced GPU model is able to describe the NVIDIA Volta architecture in sufficient detail to reduce error in memory system even counters by as much as 66X. The reduced error in the memory system further reduces execution time error versus real hardware by 2.5X. To demonstrate the accuracy of our enhanced model against a real machine, we perform a counter-by-counter validation against an NVIDIA TITAN V Volta GPU, demonstrating the relative accuracy of the new simulator versus the publicly available model. We go on to demonstrate that the simpler model discounts the importance of advanced memory system designs such as out-of-order memory access scheduling, while overstating the impact of more heavily researched areas like L1 cache bypassing. Our results demonstrate that it is important for the academic community to enhance the level of detail in architecture simulators as system complexity continues to grow. As part of this detailed correlation and modeling effort, we developed a new Correlator toolset that includes a consolidation of applications from a variety of popular GPGPU benchmark suites, designed to run in reasonable simulation times. The Correlator also includes a database of hardware profiling results for all these applications on NVIDIA cards ranging from Fermi to Volta and a toolchain that enables users to gather correlation statistics and create detailed counter-by-counter hardware correlation plots with minimal effort.

研究の動機と目的

• GPUアーキテクチャ研究におけるシミュレーションの正確性と実ハードウェア動作の間のギャップが拡大するのを是正すること。
• 特にメモリシステムモデルにおいて、広く使われているGPGPU-Simシミュレータに顕著な不正確さが存在することを特定・是正すること。
• シミュレーションの不正確さが、L1キャッシュのバイパスや順序外メモリスケジューリングといったアーキテクチャ設計意思決定にどのように歪められることを示すこと。
• 将来のGPUシミュレータ開発のためのオープンソースで再現可能な検証フレームワークを構築すること。
• 学術研究を目的とした、NVIDIA Volta GPUメモリシステムの高精度でオープンソースのモデルを提供すること。

提案手法

• 逆コンパイルとハードウェアマイクロベンチマークに基づき、Volta GPUの詳細な動作を反映するように、GPGPU-Simのメモリシステムモジュールを段階的に再設計した。
• 公開ドキュメント、先行マイクロベンチマーク研究、および新規に得られたキャッシュセクタリング、コalescing、ライトポリシーに関する逆コンパイルによる知見を統合した。
• 実ハードウェア動作を反映するため、適応的L1キャッシュ設定ポリシーと正確なL2キャッシュリプレースロジックを実装した。
• 多様なGPGPUワークロードを用いて、実際のNVIDIA TITAN V GPUと対比して、カウンターごとの検証を実施した。
• FermiからVoltaまでの複数のGPU世代にわたる、カウンターごとの相関統計、プロット作成、ベンチマーク統合を自動化するためのCorrelatorツールセットを開発した。
• 改良されたシミュレータを用いて、さまざまな構成下での実ハードウェアと比較した、アーキテクチャ設計のトレードオフに関する事例研究を実施した。

実験結果

リサーチクエスチョン

• RQ1 GPGPU-Simのメモリシステムモデルの正確性は、NVIDIA TITAN Vと比較して、主要なパフォーマンスカウンターにおいてどの程度の差があるか？
• RQ2 既存のオープンソースシミュレータが、Volta GPUメモリシステムのどの具体的なアーキテクチャ的特徴を誤ってモデル化しているか、または簡略化しているか？
• RQ3 メモリシステムにおけるシミュレーションの不正確さが、L1キャッシュバイパスや順序外メモリスケジューリングといったアーキテクチャ設計案の評価にどのように影響を及ぼすか？
• RQ4 シミュレーションの正確性が向上することで、実ハードウェアと比較した実行サイクル誤差はどの程度低減されるか？
• RQ5 詳細なマイクロベンチマークと逆コンパイルを通じて、これまで未発表のメモリシステム動作をどの程度新たに発見できるか？

主な発見

• NVIDIA TITAN Vをシミュレートする際、改良されたGPGPU-Simモデルは、元のGPGPU-Sim 3.xモデルと比較して、メモリシステムカウンターの平均絶対誤差を最大66倍まで低減した。
• 新しいモデルを用いることで、実行サイクル誤差は旧モデルと比較して2.5倍まで低減され、シミュレーションの忠実度が著しく向上した。
• 新しいモデルは実ハードウェアとの実行サイクル相関で96％を達成したのに対し、旧モデルではわずか71％であった。
• 元のGPGPU-SimモデルはL1キャッシュをボトルネックとして誤って特定しており、性能への影響を過大評価し、順序外メモリスケジューリングの利点を過小評価していた。
• 本研究では、VoltaのセクタベースL1およびL2キャッシュ、適応的L1設定、帯域幅を節約するL2ライトポリシーといった、以前未発表の特徴を発見した。
• Correlatorツールセットにより、シミュレーションと実ハードウェア間のカウンターごとの相関を迅速かつ自動化可能となり、今後のモデル検証に貢献できるようになった。