[論文レビュー] Towards Memory Prefetching with Neural Networks: Challenges and Insights.

Leeor Peled, Uri Weiser+1 more|arXiv (Cornell University)|Mar 19, 2018

Parallel Computing and Optimization Techniques被引用数 5

ひとこと要約

この論文では、従来の空間的・時間的局所性を超えて、アルゴリズム的に導かれた複雑なメモリアクセスパターンを学習することを目的としたニューラルネットワークベースのプリフェッチャーを提案する。SPEC2006およびカスタムカーネル上で評価された結果、平均22%のスループット向上（最大90%）を達成し、手書きカーネルでは最大5倍のスループット向上を示した。実装上の課題があるものの、最先端のプリフェッチャーに比べて優れたパターン認識能力を示した。

ABSTRACT

Accurate memory prefetching is paramount for processor performance, and modern processors employ various techniques to identify and prefetch different memory access patterns. While most modern prefetchers target spatio-temporal patterns by matching memory addresses that are accessed in close proximity (either in space or time), the recently proposed concept of semantic locality views locality as an artifact of the algorithmic level and searches for correlations between memory accesses and program state. While this approach was shown to be effective, capturing semantic locality requires significant associative learning capabilities. In this paper we utilize neural networks for this task. Artificial neural networks are becoming increasingly effective in tasks of pattern recognition and associative learning of complex relations. We leverage recent advances in this field to propose a conceptual neural network prefetcher. We show that by targeting semantic locality, this prefetcher can learn distinct memory access patterns that cannot be covered by other state-of-the-art prefetchers. We evaluate the neural network prefetcher over SPEC2006, Graph500, and a variety of handwritten kernels. We show that the prefetcher can deliver an average speedup of 22% for SPEC2006 (up to 90%) and up to 5x over kernels. We also explore the limitations of using neural networks for prefetching. Ultimately, we conclude that although there are still many challenges to overcome before we can reach a feasible, power-efficient implementation, the neural network prefetcher potential gains over state-of-the-art prefetchers justify further exploration

研究の動機と目的

• 空間的・時間的局所性に依存する従来のプリフェッチャーの限界を解決し、アルゴリズムレベルのメモリアクセスパターンを捉えられない点を是正すること。
• ニューラルネットワークが、メモリアクセスとプログラム状態の間の複雑な相関関係を学習することで、意味的局所性を効果的にモデル化できるかを検証すること。
• 既存の最先端技術では検出できないメモリアクセスパターンを同定できる概念的ニューラルネットワークプリフェッチャーを構築すること。
• SPEC2006、Graph500、および手書きカーネルを含む多様なワークロードにおいて、ニューラルプリフェッチャーの性能とスケーラビリティを評価すること。
• 特に電力効率と実世界での実装可能性に配慮した文脈において、ニューラルネットワークをメモリプリフェッチに導入する際の実用的課題を特定・分析すること。

提案手法

• メモリアクセスシーケンスとプログラム状態変数の関連性を学習することで、意味的局所性をニューラルネットワークでモデル化すること。
• 履歴的なメモリアクセストレースと対応するプログラム状態情報に基づいてトレーニングされるニューラルネットワークアーキテクチャを設計し、将来のメモリアクセスを予測すること。
• エンドツーエンドのトレーニングを実施し、プリフェッチエラーを最小限に抑え、命令レベル並列性の向上を最大化するようにネットワークを最適化すること。
• SPEC2006、Graph500、およびカスタム手書きカーネル上で性能を評価するため、シミュレーションフレームワークにニューラルプリフェッチャーを統合すること。
• 誤差逆伝播と勾配ベース最適化を用いて、多様なアクセスパターンに一般化できるようにネットワークの能力を強化すること。
• 従来のプリフェッチャーが見逃す非線形的でアルゴリズム的に重要なアクセスパターンを検出できるかをモデルの能力として評価すること。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、空間的・時間的相関関係を超えた意味的局所性を効果的に学習し、活用できるか？
• RQ2 標準的およびカスタムワークロードにおいて、ニューラルネットワークプリフェッチャーは最先端のプリフェッチャーと比べてどの程度の性能を示すか？
• RQ3 アルゴリズムレベルのメモリアクセスパターンに焦点を当てたニューラル学習によって、どの程度のパフォーマンス向上が達成可能か？
• RQ4 特に電力効率と実世界での実装可能性を考慮した文脈において、ニューラルネットワークプリフェッチャーを実装する際の主な課題は何か？
• RQ5 ニューラルネットワークは、不規則的または手書きのカーネルに見られるような多様なメモリアクセスパターンにどの程度一般化できるか？

主な発見

• ニューラルネットワークプリフェッチャーは、SPEC2006ベンチマークスイートで平均22%のスループット向上を達成し、個々のワークロードでは最大90%の向上を示した。
• 手書きカーネルでは、最大5倍のスループット向上を達成し、不規則的でアルゴリズム的に複雑なアクセスパターンに対しても高い有効性を示した。
• ニューラルプリフェッチャーは、既存の最先端の空間的・時間的プリフェッチャーでは検出できないメモリアクセスパターンを正常に同定できた。
• 顕著なパフォーマンス向上にもかかわらず、電力効率と実世界への導入に課題を抱えており、さらなる最適化の必要性が示された。
• 結果から、ニューラルネットワークが複雑なメモリアクセス相関関係に対する連想学習が可能であることが検証され、今後のプリフェッチ研究にとって有望な方向性であることが示された。
• 本研究は、現在の実装可能性の制限があるものの、ニューラルプリフェッチのパフォーマンスメリットが継続的な探求を正当化すると結論づけた。