[論文レビュー] A Memory Controller with Row Buffer Locality Awareness for Hybrid Memory Systems

HanBin Yoon, Justin Meza+3 more|arXiv (Cornell University)|Apr 30, 2018

Parallel Computing and Optimization Techniques参考文献 40被引用数 5

ひとこと要約

本稿では、DRAM-PCMハイブリッドメモリシステムにおけるDRAM内に頻繁に再利用されるデータを知的にキャッシュするため、ロウバッファ局所性を認識するメモリコントローラーを提案する。ロウバッファミス回数を追跡し、局所性は低いが再利用度が高いデータを優先することで、従来の周波数ベースのキャッシュと比較して性能を14%向上させ、エネルギー効率を10%向上させるとともに、すべてPCMのシステムと比較して31%高い性能を達成する。

ABSTRACT

Non-volatile memory (NVM) is a class of promising scalable memory technologies that can potentially offer higher capacity than DRAM at the same cost point. Unfortunately, the access latency and energy of NVM is often higher than those of DRAM, while the endurance of NVM is lower. Many DRAM-NVM hybrid memory systems use DRAM as a cache to NVM, to achieve the low access latency, low energy, and high endurance of DRAM, while taking advantage of the large capacity of NVM. A key question for a hybrid memory system is what data to cache in DRAM to best exploit the advantages of each technology while avoiding the disadvantages of each technology as much as possible. We propose a new memory controller design that improves hybrid memory performance and energy efficiency. We observe that both DRAM and NVM banks employ row buffers that act as a cache for the most recently accessed memory row. Accesses that are row buffer hits incur similar latencies (and energy consumption) in both DRAM and NVM, whereas accesses that are row buffer misses incur longer latencies (and higher energy consumption) in NVM than in DRAM. To exploit this, we devise a policy that caches heavily-reused data that frequently misses in the NVM row buffers into DRAM. Our policy tracks the row buffer miss counts of recently-used rows in NVM, and caches in DRAM the rows that are predicted to incur frequent row buffer misses. Our proposed policy also takes into account the high write latencies of NVM, in addition to row buffer locality and more likely places the write-intensive pages in DRAM instead of NVM.

研究の動機と目的

• DRAMと非揮発性メモリ（NVM）、特にフェーズ・チェンジ・メモリ（PCM）を用いたハイブリッドメモリシステムの性能およびエネルギー非効率性を解消するため、ロウバッファ動作を活用すること。
• NVM（PCM）のロウバッファで頻繁にミスするデータを特定し、それをDRAMにキャッシュすることで、高遅延・高消費電力のPCMアレイアクセスを低減すること。
• アクセス頻度や再利用の新鮮さを超えたデータ配置意思決定を、NVMのロウバッファ局所性および書き込み遅延特性を組み込むことで向上させること。
• ワークロード動作に適応する動的でコスト・ベネフィット駆動のしきい値設定メカニズムを設計し、最適なDRAMキャッシュを実現すること。

提案手法

• コントローラーは、NVM（PCM）側で最近アクセスされたメモリロウのロウバッファミス回数を監視する。
• ロウバッファミス回数が高いうねり（低局所性だが高再利用）であるロウを、DRAMキャッシュの対象として優先的に特定する。
• アクセスパターンのコスト・ベネフィット分析に基づき、どのロウをDRAMに移行するかを決定するための動的しきい値設定メカニズムを用いる。
• PCMの高書き込み遅延を考慮し、書き込み集約的なページを優先してDRAMに配置する。
• DRAMをPCMメインメモリのキャッシュとするハイブリッドメモリアーキテクチャを採用する。
• 詳細なサイクル単位の正確なシミュレーションを用いて、実サーバーおよびクラウドワークロード上で評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 NVMおよびDRAMにおけるロウバッファ局所性をどのように活用することで、ハイブリッドメモリの性能およびエネルギー効率を向上させられるか？
• RQ2 高遅延PCMアレイアクセスを効果的に低減するとともに、DRAMキャッシュ汚染を最小限に抑えるデータ配置ポリシーは何か？
• RQ3 ロウバッファ局所性と書き込み遅延認識を組み合わせることで、ハイブリッドメモリシステム全体の効率がどのように向上するか？
• RQ4 局所性認識ポリシーは、ハイブリッドメモリシステムにおいて、頻度ベースまたは新鮮さベースのキャッシュよりも優れているか？
• RQ5 ロウバッファ動作は、PCM、STT-MRAM、低遅延DRAMといった異なるメモリ技術に一般化できるか、その範囲はどの程度か？

主な発見

• 提案されたロウバッファ局所性認識（RBLA）ポリシーは、DRAM-PCMハイブリッドシステムにおいて、従来の周波数ベースのキャッシュと比較して平均システム性能を14%向上させる。
• RBLAコントローラーは、データ集約的なサーバーおよびクラウドワークロードにおいて、ベースラインポリシー比でエネルギー効率を10%向上させる。
• すべてPCMのメモリシステムと比較して、ハイブリッドシステムは31%の性能向上を達成し、DRAMキャッシュの顕著な利点を示している。
• PCMの容量優位性を考慮しない状況でも、ハイブリッドシステムはすべてDRAMのシステムの29%以内の性能にとどまる。
• 繰り返しロウバッファミスを引き起こすデータアクセスパターンをより的確に捉えることができたため、RBLAポリシーは頻度および新鮮さベースのキャッシュを上回る性能を発揮した。
• 本手法は、ロウバッファを備えた他のNVM技術（STT-MRAM や低遅延DRAMなど）を用いたハイブリッドメモリシステムにも一般化可能である。