[论文解读] Enabling Efficient Dynamic Resizing of Large DRAM Caches via A Hardware Consistent Hashing Mechanism

Kevin K. Chang, Gabriel H. Loh+7 more|arXiv (Cornell University)|Feb 1, 2016

Caching and Content Delivery参考文献 32被引用 5

一句话总结

本文提出CRUNCH，一种基于一致性哈希的硬件高效数据重映射方案，用于实现大尺寸堆叠DRAM缓存的动态扩容。通过仅将断电银行中的缓存集合重映射到活跃银行，CRUNCH实现了低过渡延迟和高负载均衡，从而在缓存扩容过程中实现显著的节能效果，且无性能下降。

ABSTRACT

Die-stacked DRAM has been proposed for use as a large, high-bandwidth, last-level cache with hundreds or thousands of megabytes of capacity. Not all workloads (or phases) can productively utilize this much cache space, however. Unfortunately, the unused (or under-used) cache continues to consume power due to leakage in the peripheral circuitry and periodic DRAM refresh. Dynamically adjusting the available DRAM cache capacity could largely eliminate this energy overhead. However, the current proposed DRAM cache organization introduces new challenges for dynamic cache resizing. The organization differs from a conventional SRAM cache organization because it places entire cache sets and their tags within a single bank to reduce on-chip area and power overhead. Hence, resizing a DRAM cache requires remapping sets from the powered-down banks to active banks. In this paper, we propose CRUNCH (Cache Resizing Using Native Consistent Hashing), a hardware data remapping scheme inspired by consistent hashing, an algorithm originally proposed to uniformly and dynamically distribute Internet traffic across a changing population of web servers. CRUNCH provides a load-balanced remapping of data from the powered-down banks alone to the active banks, without requiring sets from all banks to be remapped, unlike naive schemes to achieve load balancing. CRUNCH remaps only sets from the powered-down banks, so it achieves this load balancing with low bank power-up/down transition latencies. CRUNCH's combination of good load balancing and low transition latencies provides a substrate to enable efficient DRAM cache resizing.

研究动机与目标

• 解决在动态缓存扩容过程中，将断电DRAM缓存银行中的数据重映射到活跃银行的挑战。
• 克服简单重映射方案带来的性能与能耗开销，这些方案要么造成热点，要么需要完整数据迁移。
• 通过根据工作负载需求动态调整活跃银行数量，实现面向功耗受限系统的节能DRAM缓存。
• 为大规模堆叠缓存架构提供一种低延迟、负载均衡的DRAM缓存扩容解决方案，具有实际可行性。
• 提出一种专为DRAM缓存独特组织结构设计的新硬件机制，其中整个集合被映射到单个银行。

提出的方法

• 将原本用于分布式Web负载均衡的一致性哈希算法，适配用于以负载均衡方式将缓存集合从断电银行重映射到活跃银行。
• 将每个缓存集合映射到一个虚拟哈希环上的位置，其中银行也位于该环上，确保仅在扩容时重映射来自断电银行的集合。
• 使用原生硬件一致性哈希机制，最小化重映射开销，并避免对活跃银行中的集合进行重新映射。
• 实现一种银行启停转换协议，仅触发对非活跃银行中集合的重映射，从而降低过渡延迟与能耗。
• 设计一种硬件感知的数据结构，直接在缓存控制器中存储哈希环映射和银行状态信息。
• 通过保留单个银行对应单个集合的映射方式，确保与现有DRAM缓存组织的向后兼容性，同时支持动态银行管理。

实验结果

研究问题

• RQ1 当整个集合被映射到单个银行时，如何在动态扩容期间实现DRAM缓存中数据重映射的高效性？
• RQ2 一致性哈希能否被适配为硬件机制，以在缓存扩容期间最小化重映射开销并维持负载均衡？
• RQ3 在DRAM缓存扩容方案中，过渡延迟、能耗与稳态性能之间的权衡关系如何？
• RQ4 在缓存扩容期间，CRUNCH与简单重映射方案相比，在性能与能效方面表现如何？
• RQ5 基于硬件的一致性哈希机制能否在大规模DRAM缓存中同时实现低过渡成本与良好的负载均衡？

主要发现

• CRUNCH实现的负载均衡效果与使用模-k哈希的完整数据重映射方案相当，能将集合均匀分布到活跃银行中。
• CRUNCH通过仅重映射断电银行中的集合，显著降低过渡延迟与能耗，避免了从所有银行迁移数据的需求。
• 该机制支持快速的银行启停转换，且在缓存扩容期间性能下降最小。
• CRUNCH优于低开销重映射方案（会造成热点）和负载均衡方案（迁移成本过高），实现了两全其美。
• 所提出的方案在大规模堆叠DRAM缓存中具有实际可行性，通过在资源利用率较低的工作负载期间动态减少活跃银行数量，实现显著的节能效果。
• 通过避免完整的缓存重新组织，CRUNCH即使在经历多次扩容事件后，也能在稳态运行中保持高性能。