[論文レビュー] Banshee: Bandwidth-Efficient DRAM Caching Via Software/Hardware Cooperation

Xiangyao Yu, Christopher J. Hughes+3 more|arXiv (Cornell University)|Apr 10, 2017

Parallel Computing and Optimization Techniques参考文献 29被引用数 8

ひとこと要約

Banshee は、PTE/TLB を用いたページマッピングによりタグ検索のオーバーヘッドを排除し、帯域幅に配慮したサンプリング周波数ベースのリプレースポリシーを採用することで、パッケージ内およびパッケージ外の DRAM の帯域幅効率を最適化するソフトウェア/ハードウェア共同設計の DRAM キャッシュです。パッケージ内 DRAM トラフィックを 35.8% 減少させ、最良の先行設計（Alloy Cache）と比較して性能を 15.0% 向上させつつ、低遅延を維持し、2 MB の大容量ページを効率的にサポートします。

ABSTRACT

Putting the DRAM on the same package with a processor enables several times higher memory bandwidth than conventional off-package DRAM. Yet, the latency of in-package DRAM is not appreciably lower than that of off-package DRAM. A promising use of in-package DRAM is as a large cache. Unfortunately, most previous DRAM cache designs mainly optimize for hit latency and do not consider off-chip bandwidth efficiency as a first-class design constraint. Hence, as we show in this paper, these designs are suboptimal for use with in-package DRAM. We propose a new DRAM cache design, Banshee, that optimizes for both in- and off-package DRAM bandwidth efficiency without degrading access latency. The key ideas are to eliminate the in-package DRAM bandwidth overheads due to costly tag accesses through virtual memory mechanism and to incorporate a bandwidth-aware frequency-based replacement policy that is biased to reduce unnecessary traffic to off-package DRAM. Our extensive evaluation shows that Banshee provides significant performance improvement and traffic reduction over state-of-the-art latency-optimized DRAM cache designs.

研究の動機と目的

• パッケージ内およびパッケージ外の DRAM 帯域幅使用量を優先するが、帯域幅効率が低い既存の DRAM キャッシュ設計の課題に対処すること。
• PTE/TLB を用いたページマッピングにより、パッケージ内 DRAM キャッシュにおける高コストなタグアクセスおよびメタデータ更新トラフィックを排除すること。
• 不要なデータおよびメタデータの移動を最小限に抑える帯域幅に配慮したリプレースポリシーを設計すること。
• ハードウェアのタグバッファを用いた遅延処理とバッチ更新メカニズムにより、TLB の一貫性を単純化し、大容量ページ（2 MB）の効率的サポートを可能にすること。
• 特に帯域幅制限が厳しいメモリ制限ワークロードにおいて、アクセス遅延を犠牲にすることなく高い帯域幅効率を達成すること。

提案手法

• PTE および TLB を用いて DRAM キャッシュの存在情報を格納し、別個のタグストレージの必要性を排除し、タグ検索トラフィックを削減する。
• ハードウェアが管理する周波数ベースのリプレース（FBR）ポリシーを採用し、ホットページのみをキャッシュすることでリプレーストラフィックを削減する。
• 周波数カウンタの更新にサンプリングを適用し、メモリアクセスの一部のみを読み書きすることで、帯域幅オーバーヘッドを最小限に抑えつつ、予測精度を維持する。
• メモリコントローラーにタグバッファを導入し、リアルタイムのマッピング変更を追跡し、バッファが満杯になった場合にのみページテーブルおよび TLB へのバッチ更新をトリガーする。
• バッファのオーバーフローまでページテーブルおよび TLB の更新を延期する遅延 TLB 一貫性メカニズムを採用し、コストを均等に分散させ、一貫性を簡素化する。
• 帯域幅に配慮した FBR ポリシーとサンプリングにより、リプレースのオーバーヘッドを低減することで、2 MB ページの効率的サポートを実現する。

実験結果

リサーチクエスチョン

• RQ1 パッケージ内およびパッケージ外の DRAM に対して、アクセス遅延を低下させることなく、高い帯域幅効率を達成できる DRAM キャッシュ設計は可能か？
• RQ2 ページ粒度の DRAM キャッシュにおいて、タグ検索およびメタデータ更新トラフィックをどのようにして排除または最小限に抑えることができるか？
• RQ3 サンプリングとハードウェア支援を用いることで、周波数ベースのリプレースポリシーを帯域幅効率の高いものにできるか？
• RQ4 PTE/TLB を用いた DRAM キャッシュにおいて、高いオーバーヘッドを伴わずに、TLB の一貫性をどのように簡素化できるか？
• RQ5 帯域幅最適化された DRAM キャッシュにおいて、大容量ページ（2 MB）をどの程度効率的にサポートできるか？

主な発見

• Banshee は、最良の先行設計（Alloy Cache）と比較して、パッケージ内 DRAM トラフィックを 35.8% 減少させ、帯域幅効率を顕著に向上させた。
• Banshee は、帯域幅制限下の環境において、Alloy Cache（最良性能を示すベースライン）と比較して 15.0% の性能向上を達成した。
• 周波数カウンタの更新を 10% 以下のレートでサンプリングすることで、ミス率の上昇はわずかに抑えられ、カウンタ更新トラフィックは無視できるほど小さくなった。
• Banshee の 4 方向アソシエーション設計は 30.9% のミス率を達成し、4 方向を超えると利得が小さくなるため、デフォルト構成として妥当であると正当化された。
• Banshee は、従来のページベースキャッシュ設計が直面する高いリプレースオーバーヘッドを克服し、効率的な 2 MB ページサポートを可能にした。
• ハードウェアのタグバッファを備えた遅延 TLB 一貫性メカニズムにより、一貫性を維持するコストが低減され、スケーラブルで効率的なリプレースが可能になった。