[论文解读] Managing Hybrid Main Memories with a Page-Utility Driven Performance Model

Yang Li, Jongmoo Choi+6 more|arXiv (Cornell University)|Jul 13, 2015

Parallel Computing and Optimization Techniques参考文献 37被引用 6

一句话总结

本文提出UBM，一种基于页面效用的混合内存管理机制，通过估算将每个页面放置在DRAM与NVM中的性能收益，优化DRAM-NVM主内存系统的系统性能。UBM结合访问频率、行缓冲局部性和内存级并行性（MLP）构建综合模型，量化页面效用并指导数据放置，相较于最先进方法实现平均14%的性能提升（最高达39%）。

ABSTRACT

Hybrid memory systems comprised of dynamic random access memory (DRAM) and non-volatile memory (NVM) have been proposed to exploit both the capacity advantage of NVM and the latency and dynamic energy advantages of DRAM. An important problem for such systems is how to place data between DRAM and NVM to improve system performance. In this paper, we devise the first mechanism, called UBM (page Utility Based hybrid Memory management), that systematically estimates the system performance benefit of placing a page in DRAM versus NVM and uses this estimate to guide data placement. UBM's estimation method consists of two major components. First, it estimates how much an application's stall time can be reduced if the accessed page is placed in DRAM. To do this, UBM comprehensively considers access frequency, row buffer locality, and memory level parallelism (MLP) to estimate the application's stall time reduction. Second, UBM estimates how much each application's stall time reduction contributes to overall system performance. Based on this estimation method, UBM can determine and place the most critical data in DRAM to directly optimize system performance. Experimental results show that UBM improves system performance by 14% on average (and up to 39%) compared to the best of three state-of-the-art mechanisms for a large number of data-intensive workloads from the SPEC CPU2006 and Yahoo Cloud Serving Benchmark (YCSB) suites.

研究动机与目标

• 解决由基于启发式策略导致的混合DRAM-NVM主内存系统中数据放置不理想的问题，这些策略未直接建模系统性能影响。
• 克服现有方法依赖不完整代理（如仅访问频率或行缓冲局部性）的局限性，这些代理可能无法准确反映实际停顿时间的减少。
• 开发一种直接估算将页面放置在DRAM与NVM中对系统层面性能收益的性能模型，以指导数据迁移决策。
• 引入一种效用度量，同时考虑应用级停顿时间减少和整体系统对性能延迟的敏感性，以提升系统整体效率。
• 证明基于效用的方法在多样化数据密集型工作负载下优于现有最先进机制。

提出的方法

• 提出一种页面效用度量，量化将页面放置在DRAM与NVM中所带来的系统性能收益，综合考虑三个关键因素：访问频率、行缓冲局部性和内存级并行性（MLP）。
• 通过在程序执行期间在线采样，建模访问频率、行缓冲局部性和MLP之间的相互作用，估算应用级停顿时间减少量。
• 建模每个应用的停顿时间减少对整体系统性能的贡献，认识到不同应用对延迟的敏感性可能不同。
• 实现一种基于硬件的机制（UBM），根据计算出的效用度量识别高效益页面，并将其迁移至DRAM。
• 采用在线估计技术，动态评估页面级别的MLP，实现同一应用内各页面性能影响的细粒度区分。
• 将效用模型集成到混合内存管理框架中，平衡性能与写入磨损均衡，并支持动态工作负载适应。

实验结果

研究问题

• RQ1 在混合内存系统中，如何准确估算将特定页面放置在DRAM与NVM中所带来的系统性能收益？
• RQ2 访问频率、行缓冲局部性和内存级并行性（MLP）三者共同在多大程度上影响页面迁移至DRAM时的实际停顿时间减少？
• RQ3 整体系统性能对应用级停顿时间的敏感性在不同工作负载下如何变化？这种变化如何建模以实现高效的数据放置？
• RQ4 是否一种直接建模系统级性能影响的基于效用的机制，能够优于混合内存系统中的基于启发式的数据放置策略？
• RQ5 所提出的效用模型在不同DRAM大小和NVM访问延迟下的鲁棒性如何？

主要发现

• UBM在来自SPEC CPU2006和YCSB的多样化数据密集型工作负载上，平均提升系统性能14%，优于三种最先进机制中的最佳者。
• UBM在某些工作负载上实现的最大性能提升达39%，在延迟敏感场景中展现出显著优势。
• 效用模型中引入内存级并行性（MLP）使页面间性能影响的区分更加精准，尤其在存在内存请求重叠的工作负载中表现更优。
• UBM在不同配置下（包括不同DRAM大小和NVM访问延迟）均保持一致的性能增益，表明其具有强鲁棒性。
• 性能提升主要归因于模型能够识别出迁移至DRAM后能带来最高实际停顿时间减少的页面，而非依赖间接启发式方法。
• 研究证实，仅优先处理高访问频率或低行缓冲局部性的页面是不够的；真正的性能收益取决于频率、局部性和MLP三者的协同作用。