[论文解读] Execution-Cache-Memory Performance Model: Introduction and Validation

Johannes Hofmann, Jan Eitzinger+1 more|arXiv (Cornell University)|Sep 10, 2015

Parallel Computing and Optimization Techniques参考文献 3被引用 12

一句话总结

本文提出了并验证了执行-缓存-内存（ECM）性能模型，这是一种简化的分析框架，通过建模指令执行、缓存和内存访问延迟，能够预测在Intel Xeon Haswell-EP上的应用性能。该模型准确预测了非临时存储带来的最高1.42倍性能提升，其原因在于减少了缓存层次结构的流量，优于仅考虑带宽的传统模型。

ABSTRACT

This report serves two purposes: To introduce and validate the Execution-Cache-Memory (ECM) performance model and to provide a thorough analysis of current Intel processor architectures with a special emphasis on Intel Xeon Haswell-EP. The ECM model is a simple analytical performance model which focuses on basic architectural resources. The architectural analysis and model predictions are showcased and validated using a set of elementary microbenchmarks.

研究动机与目标

• 提出一种专注于核心架构资源（执行、缓存和内存）的简单、分析型性能模型。
• 通过在Intel Xeon Haswell-EP架构上的微基准测试验证ECM模型。
• 分析非临时存储如何通过避免RFO和写分配流量，减轻内存带宽压力并提升性能。
• 证明传统Roofline模型因忽略缓存内数据传输成本，而低估了非临时存储带来的性能增益。
• 为开发人员提供一种实用的、与架构相关的性能建模方法，以识别瓶颈和优化机会。

提出的方法

• ECM模型将应用性能分解为若干顺序阶段：指令执行、L1到L2、L2到L3以及L3到内存的数据传输。
• 每个阶段根据测量的带宽和缓存层次结构行为，分配以每缓存行（c/CL）为单位的延迟成本。
• 该模型使用测量的带宽和缓存行大小来计算传输时间，同时包含写分配和RFO开销。
• 通过移除写分配和RFO流量，对非临时存储进行建模，从而减少传输次数和延迟。
• 通过累加各阶段延迟（{1|3|4|5|...}个周期）推导出预测结果，最终性能估计为这些阶段的总和。
• 通过将ECM预测结果与Stream和Schönauer Triads等微基准测试的实际性能进行对比，完成模型验证。

实验结果

研究问题

• RQ1 ECM模型在Haswell-EP上对非临时存储带来的性能提升预测精度如何？
• RQ2 为何传统Roofline模型低估了非临时存储带来的性能增益？
• RQ3 缓存内数据传输（如L1-L2、L2-L3）在普通存储与非临时存储之间的性能差异中起到何种作用？
• RQ4 诸如LFB和CoD模式等架构特性如何影响持续内存带宽和性能？
• RQ5 减少缓存层次结构流量以及消除RFO数据流在性能增益中所占的贡献程度如何？

主要发现

• 对于使用非临时存储的Stream Triad，ECM模型预测获得1.42倍性能提升，与实测性能完全一致。
• 对于Schönauer Triad，ECM模型预测非临时存储带来1.32倍性能提升，与实测结果一致。
• 非临时存储带来的性能增益超过仅考虑带宽模型的预测值，原因在于缓存内数据传输开销的减少。
• Haswell-EP在非临时存储和CoD模式启用时，持续内存带宽高于Sandy Bridge和Ivy Bridge，尤其显著。
• 在Stream Triad中，消除RFO和写分配流量后，L1-L2传输时间从5个周期减少到4个周期，L2-L3从8个周期减少到4个周期。
• 该模型表明，缓存到内存的传输延迟（例如四行数据为15.6 c/CL）对准确性能预测至关重要，尤其是在高内存压力下。