[论文解读] A Memory Controller with Row Buffer Locality Awareness for Hybrid Memory Systems

HanBin Yoon, Justin Meza+3 more|arXiv (Cornell University)|Apr 30, 2018

Parallel Computing and Optimization Techniques参考文献 40被引用 5

一句话总结

本文提出了一种内存控制器，通过利用行缓冲局部性意识，在DRAM-PCM混合内存系统中智能缓存频繁重用的数据。通过追踪行缓冲未命中次数并优先缓存局部性低但重用率高的数据，该控制器相比传统的基于频率的缓存策略，性能提升14%，能效提升10%，且相比全PCM系统性能提升31%。

ABSTRACT

Non-volatile memory (NVM) is a class of promising scalable memory technologies that can potentially offer higher capacity than DRAM at the same cost point. Unfortunately, the access latency and energy of NVM is often higher than those of DRAM, while the endurance of NVM is lower. Many DRAM-NVM hybrid memory systems use DRAM as a cache to NVM, to achieve the low access latency, low energy, and high endurance of DRAM, while taking advantage of the large capacity of NVM. A key question for a hybrid memory system is what data to cache in DRAM to best exploit the advantages of each technology while avoiding the disadvantages of each technology as much as possible. We propose a new memory controller design that improves hybrid memory performance and energy efficiency. We observe that both DRAM and NVM banks employ row buffers that act as a cache for the most recently accessed memory row. Accesses that are row buffer hits incur similar latencies (and energy consumption) in both DRAM and NVM, whereas accesses that are row buffer misses incur longer latencies (and higher energy consumption) in NVM than in DRAM. To exploit this, we devise a policy that caches heavily-reused data that frequently misses in the NVM row buffers into DRAM. Our policy tracks the row buffer miss counts of recently-used rows in NVM, and caches in DRAM the rows that are predicted to incur frequent row buffer misses. Our proposed policy also takes into account the high write latencies of NVM, in addition to row buffer locality and more likely places the write-intensive pages in DRAM instead of NVM.

研究动机与目标

• 通过利用行缓冲行为，解决使用DRAM和非易失性内存（NVM）（特别是相变内存PCM）的混合内存系统中存在的性能与能效低下问题。
• 通过识别在NVM（PCM）行缓冲中频繁未命中的数据并将其缓存在DRAM中，减少高延迟、高能耗的PCM阵列访问。
• 在访问频率或访问时间之外，结合NVM的行缓冲局部性和写延迟特性，改进数据放置决策。
• 设计一种动态、基于成本效益分析的阈值机制，根据工作负载行为自适应调整，以实现最优的DRAM缓存策略。

提出的方法

• 控制器监控NVM（PCM）侧最近访问内存行的行缓冲未命中次数。
• 识别行缓冲未命中次数高的行——这些行表明局部性低但重用率高——作为DRAM缓存的优选候选。
• 采用动态阈值机制，基于访问模式的成本效益分析，决定将哪些行迁移到DRAM。
• 该策略还通过优先将写密集型页面放置在DRAM中，来应对PCM中较高的写延迟。
• 系统采用混合内存架构，将DRAM用作更大容量PCM主内存的缓存。
• 使用真实服务器和云工作负载，在详细周期精确模拟的DRAM-PCM混合系统上对设计进行评估。

实验结果

研究问题

• RQ1 如何利用NVM和DRAM中的行缓冲局部性来提升混合内存系统的性能与能效？
• RQ2 何种数据放置策略能有效减少高延迟PCM阵列访问，同时最小化DRAM缓存污染？
• RQ3 将行缓冲局部性与写延迟感知相结合，如何提升混合内存系统整体效率？
• RQ4 在混合内存系统中，基于局部性的策略是否能优于基于频率或访问时间的缓存策略？
• RQ5 行缓冲行为在不同内存技术（如PCM、STT-MRAM和低延迟DRAM）之间在多大程度上具有普适性？

主要发现

• 所提出的行缓冲局部性感知（RBLA）策略在DRAM-PCM混合系统中，相比传统的基于频率的缓存策略，平均性能提升14%。
• RBLA控制器在数据密集型服务器和云工作负载上，相比基线策略，能效提升10%。
• 与全PCM内存系统相比，该系统实现了31%的性能增益，充分证明了DRAM缓存的显著优势。
• 尽管未考虑PCM的容量优势，该混合系统性能仍达到全DRAM系统性能的29%以内。
• 该策略通过更准确捕捉导致重复行缓冲未命中的数据访问模式，优于基于频率或访问时间的缓存策略。
• 该方法可推广至其他使用行缓冲的NVM技术（如STT-MRAM和低延迟DRAM）的混合内存系统。