[论文解读] DAMOV: A New Methodology and Benchmark Suite for Evaluating Data Movement Bottlenecks

Geraldo F. Oliveira, Juan Gómez-Luna+6 more|arXiv (Cornell University)|May 8, 2021

Advanced Data Storage Technologies被引用 5

一句话总结

DAMOV 引入了一套系统化的方法论和开源基准测试套件，用于分类和评估现代应用程序中的数据移动瓶颈。通过对345个应用程序中的77,000个函数进行分析，识别出导致内存流量的关键程序属性，并评估了传统技术（缓存、预取）与新兴技术（近数据处理）的缓解效果，从而实现基于数据的最优优化策略选择。

ABSTRACT

Data movement between the CPU and main memory is a first-order obstacle against improving performance, scalability, and energy efficiency in modern systems. Computer systems employ a range of techniques to reduce overheads tied to data movement, spanning from traditional mechanisms (e.g., deep multi-level cache hierarchies, aggressive hardware prefetchers) to emerging techniques such as Near-Data Processing (NDP), where some computation is moved close to memory. Our goal is to methodically identify potential sources of data movement over a broad set of applications and to comprehensively compare traditional compute-centric data movement mitigation techniques to more memory-centric techniques, thereby developing a rigorous understanding of the best techniques to mitigate each source of data movement. With this goal in mind, we perform the first large-scale characterization of a wide variety of applications, across a wide range of application domains, to identify fundamental program properties that lead to data movement to/from main memory. We develop the first systematic methodology to classify applications based on the sources contributing to data movement bottlenecks. From our large-scale characterization of 77K functions across 345 applications, we select 144 functions to form the first open-source benchmark suite (DAMOV) for main memory data movement studies. We select a diverse range of functions that (1) represent different types of data movement bottlenecks, and (2) come from a wide range of application domains. Using NDP as a case study, we identify new insights about the different data movement bottlenecks and use these insights to determine the most suitable data movement mitigation mechanism for a particular application. We open-source DAMOV and the complete source code for our new characterization methodology at https://github.com/CMU-SAFARI/DAMOV.

研究动机与目标

• 系统性地识别并分类现代应用程序在多样化领域中数据移动瓶颈的根本原因。
• 评估传统以计算为中心的技术（如缓存、预取）与新兴以内存为中心的方法（如近数据处理）在缓解这些瓶颈方面的有效性。
• 基于基本程序属性，建立严谨、以数据驱动为基础的方法论，用于表征应用级别的数据移动行为。
• 创建一个具有代表性、开源的基准测试套件（DAMOV），以捕捉多样化的数据移动模式，供未来研究使用。
• 为基于应用特征选择最合适的移动数据缓解技术提供可操作的洞察。

提出的方法

• 对345个多样化应用程序中的77,000个函数进行大规模性能剖析，提取底层内存访问模式与数据移动特性。
• 提出一种系统化的分类框架，根据主要数据移动来源（如不规则访问、局部性差、大工作集）对应用程序进行分类。
• 从性能剖析数据中选取144个代表性函数，构成DAMOV基准测试套件，确保涵盖不同类型的瓶颈和应用领域。
• 以近数据处理（NDP）为例，评估不同瓶颈类型对以内存为中心的优化技术的响应情况。
• 采用工作负载表征技术，将程序级属性（如访问步长、数据重用）与内存访问开销相关联。
• 将完整的方法论与DAMOV基准测试套件作为开源资源发布于 https://github.com/CMU-SAFARI/DAMOV，以支持可复现性与社区使用。

实验结果

研究问题

• RQ1 在现代应用程序中，哪些基本程序属性会导致主内存间显著的数据移动？
• RQ2 不同类型的数据移动瓶颈（如不规则访问、局部性差、数据量大）在不同应用领域中的表现有何差异？
• RQ3 与新兴的以内存为中心的方法（如近数据处理）相比，传统以计算为中心的缓解技术（如缓存、预取）在各类瓶颈类型中的有效性如何？
• RQ4 基于应用的特征访问模式，哪种数据移动缓解技术最适合特定应用？
• RQ5 能否建立一种系统化、以数据驱动为基础的方法论，以指导最优数据移动优化策略的选择？

主要发现

• 现代应用程序表现出多样化数据移动模式，在不同领域间存在显著差异，体现在访问不规则性、数据重用率和工作集大小方面。
• 对于具有低内存局部性和不规则访问模式的应用程序，传统技术（如缓存、预取）往往不足以应对，而这类特征在现代工作负载中普遍存在。
• 近数据处理（NDP）在内存带宽需求高且空间/时间局部性差的应用中，展现出显著降低数据移动开销的潜力。
• DAMOV基准测试套件包含了144个代表性的函数，涵盖不同类型的独特数据移动瓶颈，支持对优化技术的针对性评估。
• 研究表明，没有一种缓解技术在所有情况下都优于其他技术；最优选择关键取决于目标应用的具体瓶颈特性。
• 所提出的方法论能够精确分类数据移动来源，为未来内存系统的软硬件协同设计提供坚实基础。