[論文レビュー] A neural network memory prefetcher using semantic locality

Leeor Peled, Uri Weiser+1 more|arXiv (Cornell University)|Mar 19, 2018

Parallel Computing and Optimization Techniques参考文献 47被引用数 6

ひとこと要約

この論文では、プログラムのコンテキストとメモリアクセスパターンの相関関係を学習することで意味的局所性を活用するニューラルネットワークベースのメモリプリフェッチャーを提案する。ランタイムにおけるマシン状態とプログラム状態を用いて訓練することで、30%の平均的高速化を達成し、SPEC2006で平均30%の高速化を実現。また、カーネルでは最大4.6倍の高速化を達成。従来のヒューリスティックプリフェッチャーを上回り、優れた関連性学習とパターン検出能力を示す。

ABSTRACT

Accurate memory prefetching is paramount for processor performance, and modern processors employ various techniques to identify and prefetch different memory access patterns. While most modern prefetchers target spatio-temporal patterns by matching memory addresses that are accessed in close proximity (either in space or time), the recently proposed concept of semantic locality views locality as an artifact of the algorithmic level and searches for correlations between memory accesses and program state. While this approach was shown to be effective, capturing semantic locality requires significant associative learning capabilities. In this paper we utilize neural networks for this task. We leverage recent advances in machine learning to propose a neural network prefetcher. We show that by observing program context, this prefetcher can learn distinct memory access patterns that cannot be covered by other state-of-the-art prefetchers. We evaluate the neural network prefetcher over SPEC2006, Graph500, and several microbenchmarks. We show that the prefetcher can deliver an average speedup of 30% for SPEC2006 (up to 2.7x) and up to 4.6x over kernels. We also present a high-level design of our prefetcher, explore the power, energy and area limitations, and propose several optimizations for feasibility. We believe that this line of research can further improve the efficiency of such neural networks and allow harnessing them for additional micro-architectural predictions.

研究の動機と目的

• ニューラルネットワークが、複雑なメモリアクセスパターンを捉える際に、ヒューリスティックおよび強化学習ベースのプリフェッチャーを上回る可能性があるかどうかを検証すること。
• 意味的局所性に基づく動的でコンテキストに適応するメモリプリフェッチングにニューラルネットワークを適用する可能性を調査すること。
• 現代のプロセッサに実装されたニューラルネットワークプリフェッチャーの性能、エネルギー、面積のトレードオフを評価すること。
• 効率的で正確なアドレス予測を実現するための最適なネットワークアーキテクチャと量子化戦略を同定すること。
• ニューラルネットワークが、複数の空間的・時間的プリフェッチングヒューリスティックを統合した単一の適応的学習エンジンとして機能できることを示すこと。

提案手法

• プリフェッチャーは、プログラムおよびマシンコンテキストの特徴をランタイムで訓練し、将来のメモリアクセスを予測する順方向ニューラルネットワークを用いる。
• 入力特徴には、プログラムカウンター履歴、レジスタ状態、メモリアクセスパターンが含まれる。これらはネットワーク処理用にベクトルに符号化される。
• 予測誤差を最小化するようにバックプロパゲーションを用いてネットワークを訓練する。
• 面積、電力、エネルギー効率の最適化を含む、高レベルのマイクロアーキテクチャ設計を提案する。
• ハードウェア実装可能性を高めるために、量子化技術（例：3ビット重み）を評価する。
• 動的訓練を伴うgem5シミュレーションを用いて、SPEC2006、Graph500、および手書きカーネルを対象にシステムを評価する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、従来の空間的・時間的プリフェッチャーが捉えきれない複雑なメモリアクセスパターンを効果的に学習し一般化できるか？
• RQ2 多様なワークロードにおいて、ニューラルネットワークプリフェッチャーの性能は、最先端のヒューリスティックおよび強化学習ベースのプリフェッチャーと比較してどうか？
• RQ3 ハードウェア実装可能なプリフェッチャーにおいて、ネットワークサイズ、深さ、精度、予測精度の間のトレードオフは何か？
• RQ4 量子化は、ニューラルネットワークプリフェッチャーの学習収束性と予測精度にどのように影響するか？
• RQ5 どのワークロードにおいて、ニューラルネットワークが意味的局所性を捉えることで、コンテキストRLやヒューリスティック手法に比べて顕著な利点を示すか？

主な発見

• ニューラルネットワークプリフェッチャーは、SPEC2006スイートで平均30%の高速化を達成し、個々のベンチマークでは最大2.7倍の高速化を実現した。
• 特定のカーネルでは、最大4.6倍の高速化を達成し、ベースラインおよび他の最先端プリフェッチャーを大きく上回った。
• SPEC2006において、GHB-PC/DCに対して43%、SMSに対して2倍、VLDPに対して2.9倍の性能向上を達成した。
• 3ビット精度への量子化は、大多数のベンチマークで性能劣化を最小限に抑えたが、MCFおよびgemsFDTDでは収束問題のため顕著な遅延が生じた。
• 頻繁な状態変化が生じる複雑で進化するデータ構造（例：LBM、prim、matmul）では、コンテキストRLが苦戦する中、ニューラルネットワークが優れた性能を発揮した。
• 大規模データセット環境において、分散重み保存によりスケーラビリティに優れ、長距離スキップや複雑なトラバーサルにおいてコンテキストRLを上回った。