[论文解读] Die-Stacked DRAM: Memory, Cache, or MemCache?

Mohammad Bakhshalipour, Hamidreza Zare+2 more|arXiv (Cornell University)|Sep 24, 2018

Parallel Computing and Optimization Techniques参考文献 36被引用 6

一句话总结

本文提出 MemCache，一种混合内存层次结构，利用部分堆叠在芯片上的 DRAM 作为高带宽主内存用于热页，其余部分则作为硬件管理的缓存用于动态数据访问。通过结合内存的低开销效率与缓存的适应性，MemCache 在大数据工作负载中相较以往最佳方法将系统性能提升 28% 至 139%。

ABSTRACT

Die-stacked DRAM is a promising solution for satisfying the ever-increasing memory bandwidth requirements of multi-core processors. Manufacturing technology has enabled stacking several gigabytes of DRAM modules on the active die, thereby providing orders of magnitude higher bandwidth as compared to the conventional DIMM-based DDR memories. Nevertheless, die-stacked DRAM, due to its limited capacity, cannot accommodate entire datasets of modern big-data applications. Therefore, prior proposals use it either as a sizable memory-side cache or as a part of the software-visible main memory. Cache designs can adapt themselves to the dynamic variations of applications but suffer from the tag storage/latency/bandwidth overhead. On the other hand, memory designs eliminate the need for tags, and hence, provide efficient access to data, but are unable to capture the dynamic behaviors of applications due to their static nature. In this work, we make a case for using the die-stacked DRAM partly as main memory and partly as a cache. We observe that in modern big-data applications there are many hot pages with a large number of accesses. Based on this observation, we propose to use a portion of the die-stacked DRAM as main memory to host hot pages, enabling serving a significant number of the accesses from the high-bandwidth DRAM without the overhead of tag-checking, and manage the rest of the DRAM as a cache, for capturing the dynamic behavior of applications. In this proposal, a software procedure pre-processes the application and determines hot pages, then asks the OS to map them to the memory portion of the die-stacked DRAM. The cache portion of the die-stacked DRAM is managed by hardware, caching data allocated in the off-chip memory.

研究动机与目标

• 通过利用堆叠 DRAM 的高带宽，解决多核处理器中的内存带宽墙问题。
• 克服以往方法仅将堆叠 DRAM 用作缓存（标签开销）或主内存（静态映射）的局限性。
• 利用大数据应用中热页的存在，降低延迟和带宽开销。
• 设计一种能动态适应工作负载行为，同时最小化软硬件复杂度的系统。
• 通过在单一 DRAM 芯片中结合主内存访问的效率与缓存的适应性，提升性能。

提出的方法

• 通过软件预处理和操作系统级别的映射，在大数据应用中识别热页，并将其映射到堆叠 DRAM 的内存部分。
• 使用堆叠 DRAM 的专用部分作为主内存，直接为频繁访问的热页提供高带宽访问，无需标签检查。
• 将剩余的堆叠 DRAM 容量作为硬件管理的缓存，用于存储分配在片外 DRAM 中的数据。
• 利用现有操作系统的页面迁移支持，按需在片外 DRAM 和堆叠 DRAM 之间移动热页。
• 通过避免标签存储和检查，确保对热数据的低延迟访问，同时通过缓存组件保留动态适应能力。
• 与现有内存管理和缓存技术集成，与诸多先前优化（如 DICE、ATCache 和 Bear）保持正交性。

实验结果

研究问题

• RQ1 将堆叠 DRAM 混合作为主内存和缓存是否能优于仅将其用作缓存或主内存的现有设计？
• RQ2 在大数据工作负载中，对热页进行识别和隔离在提升内存访问效率方面有多有效？
• RQ3 在保留缓存机制用于动态数据的同时，消除频繁访问数据的标签开销，能带来多大的性能提升？
• RQ4 在带宽利用率、延迟和整体系统吞吐量方面，所提出的方案与以往最先进设计相比表现如何？
• RQ5 该方法是否能通过极少的软硬件修改实现，同时获得显著的性能提升？

主要发现

• 所提出的 MemCache 设计在所评估的大数据工作负载中，平均性能提升 28%，最高达 139%，优于以往最佳方案。
• 性能提升源于消除了对热页的标签检查开销，这些热页直接从堆叠 DRAM 的高带宽内存部分访问。
• 该混合方法有效平衡了静态效率（热页使用主内存）与动态适应性（临时数据使用缓存）。
• 该方法避免了全 DRAM 缓存设计中与标签存储和检查相关的高带宽和高延迟开销。
• 该方案与现有优化（如 DICE、ATCache 和 Bear）兼容，可组合使用，表明其具有广泛适用性。
• 该方法表明，将堆叠 DRAM 同时用作内存和缓存，比仅将其作为其中一种使用更有效。