[论文解读] Understanding the Interactions of Workloads and DRAM Types: A Comprehensive Experimental Study

Saugata Ghose, Tianshi Li+3 more|arXiv (Cornell University)|Feb 20, 2019

Parallel Computing and Optimization Techniques参考文献 141被引用 7

一句话总结

本文对九种DRAM类型中的115种现代工作负载进行了全面的实验研究，揭示了较新的DRAM技术（如DDR4和HMC）并未在所有情况下都优于较旧的技术（如DDR3），原因在于更高的延迟以及对局部性的利用不佳。该研究识别出关键的性能权衡，并倡导基于工作负载-DRAM交互特性的针对性硬件与软件优化。

ABSTRACT

It has become increasingly difficult to understand the complex interaction between modern applications and main memory, composed of DRAM chips. Manufacturers are now selling and proposing many different types of DRAM, with each DRAM type catering to different needs (e.g., high throughput, low power, high memory density). At the same time, the memory access patterns of prevalent and emerging workloads are rapidly diverging, as these applications manipulate larger data sets in very different ways. As a result, the combined DRAM-workload behavior is often difficult to intuitively determine today, which can hinder memory optimizations in both hardware and software. In this work, we identify important families of workloads, as well as prevalent types of DRAM chips, and rigorously analyze the combined DRAM--workload behavior. To this end, we perform a comprehensive experimental study of the interaction between nine different DRAM types and 115 modern applications and multiprogrammed workloads. We draw 12 key observations from our characterization, enabled in part by our development of new metrics that take into account contention between memory requests due to hardware design. Notably, we find that (1) newer DRAM types such as DDR4 and HMC often do not outperform older types such as DDR3, due to higher access latencies and, in the case of HMC, poor exploitation of locality; (2) there is no single DRAM type that can cater to all components of a heterogeneous system (e.g., GDDR5 significantly outperforms other memories for multimedia acceleration, while HMC significantly outperforms other memories for network acceleration); and (3) there is still a strong need to lower DRAM latency, but unfortunately the current design trend of commodity DRAM is toward higher latencies to obtain other benefits. We hope that the trends we identify can drive optimizations in both hardware and software design.

研究动机与目标

• 理解现代工作负载与多样化DRAM类型之间复杂的相互作用，这些DRAM类型在性能、功耗和密度方面的差异日益显著。
• 解决为异构工作负载选择最优DRAM类型的挑战，因为当前设计趋势倾向于通过牺牲延迟来换取其他优势。
• 提供关于内存访问模式、延迟、带宽和能耗如何在不同DRAM技术之间相互作用的实证洞察。
• 识别出现有内存模拟器和基准测试方法的局限性，这些方法往往仅关注孤立的工作负载或DRAM类型。
• 通过发布修改后的模拟器和全面的基准测试套件，为未来硬件与软件优化提供支持。

提出的方法

• 使用周期精确且经过广泛修改的DRAM模拟器，对九种DRAM类型（DDR3、DDR4、GDDR5、HBM、HMC等）进行了大规模实验研究。
• 评估了115个真实世界和合成的工作负载，涵盖高性能计算、云计算、多媒体、网络处理和科学计算应用。
• 开发了新的性能指标，以考虑硬件争用和内存控制器行为，特别是在多任务处理工作负载下的表现。
• 测量了所有工作负载-DRAM组合的关键指标，包括访问延迟、带宽、能耗、行缓冲命中率以及银行级并行度。
• 采用缓存行交错和真实的内存控制器策略，以确保结果真实反映系统行为。
• 执行多任务处理工作负载，以评估并发应用程序之间的争用和资源共享影响。

实验结果

研究问题

• RQ1 在延迟、带宽和能效方面，不同DRAM类型在多样化现代工作负载中的表现如何？
• RQ2 在不同访问模式下，较新的DRAM技术（如DDR4和HMC）相较于旧技术（如DDR3）的性能提升程度如何？
• RQ3 对于多媒体、网络处理或高性能计算等特定工作负载类别，哪种DRAM类型表现最优？
• RQ4 内存访问模式（如空间和时间局部性）如何与DRAM硬件特性（如银行并行性和行缓冲行为）相互作用？
• RQ5 当前通用DRAM设计中的关键性能瓶颈是什么？这些瓶颈在不同工作负载间如何变化？

主要发现

• 较新的DRAM技术（如DDR4和HMC）并未因更高的访问延迟，以及HMC在空间和时间局部性利用不佳方面而始终优于DDR3。
• 在多媒体加速工作负载中，GDDR5显著优于其他DRAM类型，表明其非常适合高带宽和不规则访问模式。
• HMC由于其高带宽和低延迟，在网络加速工作负载中表现出色，但在其他领域表现欠佳，原因在于银行级并行性有限以及某些访问模式下延迟较高。
• 没有一种DRAM类型能在所有工作负载类别中提供最优性能，这证实了异构内存系统的需求。
• 尽管带宽和密度有所提升，当前通用DRAM设计的趋势是延迟增加，这削弱了性能增益，凸显了进一步降低延迟的必要性。
• 研究表明，行缓冲局部性和银行级并行性是影响DRAM性能的关键因素，即使在同类DRAM类型之间，性能差异也显著，具体取决于工作负载的访问模式。