[论文解读] Best practices for HPM-assisted performance engineering on modern multicore processors

Jan Treibig, Georg Hager+1 more|arXiv (Cornell University)|Jun 17, 2012

Parallel Computing and Optimization Techniques参考文献 12被引用 6

一句话总结

本文提出了一种结构化的性能工程方法，利用硬件性能监控（HPM）识别并解决多核科学计算程序中的性能瓶颈。通过定义性能模式及其关联的度量特征（如内存带宽饱和、指令吞吐量限制和负载不平衡），该方法利用 x86 系统上 likwid-perfctr 工具采集的 HPM 数据，实现针对性优化。案例研究显示，通过负载均衡和缓存分块技术，性能最高可提升 29%。

ABSTRACT

Many tools and libraries employ hardware performance monitoring (HPM) on modern processors, and using this data for performance assessment and as a starting point for code optimizations is very popular. However, such data is only useful if it is interpreted with care, and if the right metrics are chosen for the right purpose. We demonstrate the sensible use of hardware performance counters in the context of a structured performance engineering approach for applications in computational science. Typical performance patterns and their respective metric signatures are defined, and some of them are illustrated using case studies. Although these generic concepts do not depend on specific tools or environments, we restrict ourselves to modern x86-based multicore processors and use the likwid-perfctr tool under the Linux OS.

研究动机与目标

• 解决在性能优化中缺乏系统化解释 HPM 数据的方法问题。
• 识别并分类现代多核处理器上运行的科学应用程序中的常见性能模式。
• 开发一种框架，将 HPM 度量与微基准测试和静态代码分析相结合，以获得更深入的架构洞察。
• 通过计算科学领域的实际案例研究，展示基于模式的 HPM 分析的实际影响。
• 通过超越简单的缓存未命中等指标，转向整体性能建模，提升代码优化效果。

提出的方法

• 作者基于观察到的硬件行为，定义了性能模式（如内存带宽饱和、指令吞吐量限制和负载不平衡）。
• 每种模式均与基于硬件性能计数器的独特度量特征相关联，使用 Linux 系统下 x86 多核平台上的 likwid-perfctr 工具获取数据。
• 该方法将 HPM 数据与微基准测试、静态代码分析（如使用 Intel IACA）以及运行时测量相结合，以验证性能模型。
• 采用结构化、迭代的性能工程流程，根据多源数据综合结果不断优化模型，以指导优化工作。
• 该方法强调 HPM 在与其他分析技术结合使用时效果最佳，不应孤立使用。
• 案例研究通过时间轴测量和 likwid-perfctr 的指令计数分析，诊断并解决了性能瓶颈。

实验结果

研究问题

• RQ1 如何系统化地解释硬件性能监控（HPM）数据，以识别科学应用程序中的性能瓶颈？
• RQ2 现代多核科学计算代码中存在哪些关键性能模式？它们如何通过 HPM 特征唯一识别？
• RQ3 将 HPM 与微基准测试和静态分析结合，能在多大程度上提高性能诊断的准确性？
• RQ4 基于模式的 HPM 方法在解决复杂、多方面的性能问题（如带宽与吞吐量限制并存）方面有多有效？
• RQ5 结构化的 HPM 引导优化能否在真实世界科学工作负载中带来可测量的性能提升？

主要发现

• RabbitCt 基准测试的实际瓶颈在于指令吞吐量，而非内存带宽，尽管屋顶图建模最初假设为带宽受限。
• 静态代码分析显示，分散地将数据加载到 SIMD 寄存器需要过多指令，解释了吞吐量瓶颈的成因。
• 实测的 CPI 值验证了静态分析的预测，从而证实了指令级性能模型的正确性。
• 通过各核心上打包的 SSE 浮点指令计数不均，检测到负载不平衡：外核执行的工作量仅为内核的三分之一。
• 将 OpenMP 循环调度方式更改为轮转调度后，运行时间从 61.72 秒减少至 43.9 秒，性能提升 29%，实现了指令计数的均衡。
• 缓存分块在内存带宽受限的架构（如 Intel Harpertown）上提升了性能，但在 Westmere 上无影响，证实了底层内存带宽的关键作用。