[論文レビュー] MANA: Microarchitecting an Instruction Prefetcher

Ali Ansari, Fatemeh Golshan+2 more|arXiv (Cornell University)|Feb 2, 2021

Parallel Computing and Optimization Techniques参考文献 54被引用数 8

ひとこと要約

MANA は、命令アクセスパターンの空間相関を活用してコン pact で最小限のメタデータレコードを作成し、それらを連結することで、高効率で堅牢なプリフェッチを実現する高性能でストレージ効率の高い命令プリフェッチャーである。MANA は、15.7倍のストレージコスト削減を達成しながら PIF レベルの性能を再現し、同じストレージ予算下で RDIP や Shotgun よりもそれぞれ 12.5% および 29% 高性能である。

ABSTRACT

L1 instruction (L1-I) cache misses are a source of performance bottleneck. Sequential prefetchers are simple solutions to mitigate this problem; however, prior work has shown that these prefetchers leave considerable potentials uncovered. This observation has motivated many researchers to come up with more advanced instruction prefetchers. In 2011, Proactive Instruction Fetch (PIF) showed that a hardware prefetcher could effectively eliminate all of the instruction-cache misses. However, its enormous storage cost makes it an impractical solution. Consequently, reducing the storage cost was the main research focus in the instruction prefetching in the past decade. Several instruction prefetchers, including RDIP and Shotgun, were proposed to offer PIF-level performance with significantly lower storage overhead. However, our findings show that there is a considerable performance gap between these proposals and PIF. While these proposals use different mechanisms for instruction prefetching, the performance gap is largely not because of the mechanism, and instead, is due to not having sufficient storage. Prior proposals suffer from one or both of the following shortcomings: (1) a large number of metadata records to cover the potential, and (2) a high storage cost of each record. The first problem causes metadata miss, and the second problem prohibits the prefetcher from storing enough records within reasonably-sized storage.

研究の動機と目的

• 現代のプロセッサにおける L1 命令キャッシュミスが引き起こす持続的な性能ボトル neck を解消すること。
• ストレージ不足と高いメタデータコストにより、従来のプリフェッチャーが性能の潜在的限界に達しない問題を克服すること。
• メタデータ表現とマイクロアーキテクチャの最適化を通じて、ストレージ単位あたりの性能を最大化するコスト効率の高い命令プリフェッチャーの設計。
• 高性能プリフェッチングの鍵は複雑なメカニズムにあるのではなく、知的なメタデータ設計によるストレージオーバーヘッドの最小化にあることを示すこと。

提案手法

• 命令アクセスパターンにおける高い空間相関を、コンパクトで正確なメタデータレコードを生成する基盤として特定する。
• 空間相関に基づくメタデータ構造を設計することで、異なるレコード数を最小限に抑え、1レコードあたりのビット数を削減する。
• メタデータレコードを連結するメカニズムを実装し、複数の命令ストリームにわたり、適切なタイミングで堅牢なプリフェッチを可能にする。
• メタデータストレージのヒットレートを維持しつつ、ストレージ使用量を最小限に抑えるマイクロアーキテクチャを実装する。
• 制限されたストレージ予算下で MANA を評価し、フルシステムシミュレーションを用いて PIF、RDIP、Shotgun と直接比較する。
• ストレージオーバーヘッドがゼロの MANA の変種を導入し、極めて効率的な状況での性能トレードオフを評価する。

実験結果

リサーチクエスチョン

• RQ1 RDIP や Shotgun のような最先端の命令プリフェッチャーが、異なるメカニズムを採用しているにもかかわらず、なぜ PIF の性能に届かないのか。
• RQ2 PIF と他のプリフェッチャーの性能格差は、アルゴリズム的差異よりも、主にメタデータストレージの制限によるものなのか。
• RQ3 命令アクセスパターンにおける空間相関を活用して、プリフェッチ用にコンパクトで高精度なメタデータ構造を設計できるか。
• RQ4 最小限のストレージオーバーヘッドで、プリフェッチの堅牢性とタイムリネスを向上させるメタデータチェインの有効性はどの程度か。
• RQ5 PIF よりもストレージ集約的だが高性能なベースラインと比較して、ストレージ最適化されたプリフェッチャーの性能上限はどの程度か。

主な発見

• PIF と RDIP や Shotgun のような従来のプリフェッチャーとの性能格差は、主にストレージ不足と高いメタデータコストに起因しており、根本的なメカニズムの差異によるものではない。
• MANA は、ストレージコストを 15.7 倍低減したにもかかわらず、PIF レベルの性能を達成しており、ストレージ効率が高性能プリフェッチングの鍵であることを示している。
• 同じストレージ予算下で、MANA は RDIP より 12.5%、Shotgun より 29% 高性能であり、メタデータ設計の有効性を裏付けている。
• ストレージオーバーヘッドがゼロの MANA の変種は、本物のバージョンのピーク性能利得の 98% を達成しており、最小限のメタデータでもほぼ最適な結果が得られることを示している。
• L1-I キャッシュサイズの縮小は、L1-I の外部帯域幅使用量を増加させる（8 KB の場合最大 2.65 倍）が、キャッシュラインプロmotion による L2 トラフィックの削減と性能向上がそれを相殺する。
• L1-I の大多数のリクエストは L2 キャッシュが処理しており、L1-I ミスは L2 キャッシュラインのプロmotion を引き起こし、場合によっては L2 の外部帯域幅を削減する。