[論文レビュー] Evaluation of the RIKEN Post-K Processor Simulator

Yuetsu Kodama, Tetsuya Odajima+2 more|arXiv (Cornell University)|Apr 13, 2019

Parallel Computing and Optimization Techniques参考文献 2被引用数 10

ひとこと要約

本論文では、A64FXベースのPost-Kスパコン向けに早期のアプリケーション開発を可能にするためにgem5に基づいて構築されたRIKEN Post-Kプロセッサシミュレータを提示する。A64FXの独自アーキテクチャ—SVE対応、マルチコアCMG構成、メモリ階層—を詳細にパrameter調整し、サイクル単位の順序外実行モデルを拡張することで、実際のテストチップと比較して実行サイクル推定で90%の正確性を達成した。これにより、物理的ハードウェアの入手前でも信頼性の高いアプリケーションチューニングが可能となった。

ABSTRACT

For the purpose of developing applications for Post-K at an early stage, RIKEN has developed a post-K processor simulator. This simulator is based on the general-purpose processor simulator gem5. It does not simulate the actual hardware of a post-K processor. However, we believe that sufficient simulation accuracy can be obtained since it simulates the instruction pipeline of out-of-order execution with cycle-level accuracy along with performing detailed parameter tuning of out-of-order resources and function expansion of cache/memory hierarchy. In this simulator, we aim to estimate the execution cycles of one node application on a post-K processor with accuracy that enables relative evaluation and application tuning. In this paper, we show the details of the implementation of this simulator and verify its accuracy compared with that of a post-K test chip.

研究の動機と目的

• 物理的ハードウェアが入手可能になる前に対応するPost-Kスパコンのための早期アプリケーション開発を可能にすること。
• A64FXプロセッサ上で単一ノードのアプリケーションについて、サイクルレベルの性能推定を正確に行うこと。
• SVE、マルチコアCMG構成、強化されたメモリ階層モデルといったA64FX固有の機能をgem5に拡張することで、一般向けシミュレータの制限を克服すること。
• 相対的性能評価およびアプリケーションチューニングに十分な精度のシミュレーションを達成すること。
• RISTを活用してより広範なユーザーへのアクセスを可能とし、初期プロジェクト参加者にとどまらない普及を促進すること。

提案手法

• Armv8.2-A SVE（スケーラブルベクターエクステンション）命令セットをネイティブにサポートするようにgem5のO3 CPUモデルを拡張し、当初はカスタムO3モデルを実装した後、Arm Researchが提供するSVE O3モデルに移行した。
• 13コアのCMG、1CMGあたり8 MiBのL2キャッシュ、HBM2メモリ（1CMGあたり8 GiB）、6.8 GB/sのネットワークリンクを含む、A64FXプロセッサの詳細なパrameterをシミュレータに設定した。
• 1CMGあたり12スレッドのマルチスレッドシミュレーション環境を実装し、A64FXの4つのリザーブドステーション（メモリ、算術、分岐）およびクロスバーインタコネクトをモデル化した。
• L1/L2キャッシュおよびメモリサブシステムにはgem5クラシックメモリモデルを使用し、A64FX仕様に一致するようにパフォーマンスを調整した。
• 28個のカーネルベンチマークおよびStream Triadワークロードを用いて、実際のA64FXテストチップ測定値と比較してシミュレーションの正確性を検証した。
• L2ハードウェアプリファッチングやスレッドスケジューリングのフェアネスメカニズムといった、欠落している機能を特定・優先順位付けし、継続的に実装を進めている。

実験結果

リサーチクエスチョン

• RQ1 gem5ベースのシミュレータは、Post-K A64FXプロセッサの相対的性能評価およびアプリケーションチューニングに十分な正確性を達成できるか？
• RQ2 多様なワークロードにおいて、シミュレータの実行サイクル推定値は、A64FXテストチップの実測値とどの程度一致するか？
• RQ3 A64FXの独自の順序外パイプラインおよびメモリ階層をシミュレートするにあたり、主なアーキテクチャモデリングの課題は何か？
• RQ4 L2ハードウェアプリファッチングなどの欠落機能が、特にマルチスレッドワークロード下でシミュレーションの正確性にどの程度影響を与えるか？
• RQ5 シミュレータは、スレッド数の変動に応じたスケーラブルなパフォーマンス評価をサポートできるか？また、実ハードウェアと比較してどのような差異が生じるか？

主な発見

• 28個のカーネルプログラムのうち23個（82%）について、シミュレータの実行サイクル推定値とA64FXテストチップとの差が10%以内に収まり、相対的性能評価に十分な高い正確性を示した。
• マルチスレッドのStream Triadベンチマークでは、12スレッドまでシミュレータがスケーラブルなメモリスループットを達成し、A64FXの期待される挙動と一致した。
• L2サイズのデータに対してスレッド数が少ない（例：1〜2スレッド）場合、シミュレータとテストチップとの実行時間差が60%を超えた。主な要因はL2ハードウェアプリファッチングの欠如に起因する。
• シミュレータのクロスバーインタコネクトモデルは、1つのソースから複数の宛先への同時転送をサポートできないため、高スレッド数下でのパフォーマンススケーリングが制限される。これはA64FXとは異なる。
• シミュレータで観測されたメモリスループット（1CMGあたり640 GB/s）は理論ピーク（830 GB/s）より低く、これはメモリ容量そのものではなくアプリケーションレベルの帯域幅を反映している。
• L2ハードウェアプリファッチングおよびスレッドスケジューリングのフェアネスメカニズムの実装を継続して進めることで、特に低スレッド数ワークロードにおける実行時間差が顕著に縮小されると予想される。