[论文解读] Effect of Meltdown and Spectre Patches on the Performance of HPC Applications

Nikolay A. Simakov, Martins Innus+5 more|arXiv (Cornell University)|Jan 12, 2018

Parallel Computing and Optimization Techniques参考文献 5被引用 9

一句话总结

本研究通过在真实HPC集群上使用XDMoD的应用程序内核监控，评估了Meltdown和Spectre补丁对HPC工作负载的性能影响。尽管某些微基准测试显示最高达74%的性能下降，但实际HPC应用程序在单节点作业中仅出现2-3%的性能退化，多节点并行作业中为5-11%，表明尽管进行了显著的安全加固，整体性能影响仍可忽略。

ABSTRACT

In this work we examine how the updates addressing Meltdown and Spectre vulnerabilities impact the performance of HPC applications. To study this we use the application kernel module of XDMoD to test the performance before and after the application of the vulnerability patches. We tested the performance difference for multiple application and benchmarks including: NWChem, NAMD, HPCC, IOR, MDTest and IMB. The results show that although some specific functions can have performance decreased by as much as 74%, the majority of individual metrics indicates little to no decrease in performance. The real-world applications show a 2-3% decrease in performance for single node jobs and a 5-11% decrease for parallel multi node jobs.

研究动机与目标

• 量化Meltdown和Spectre补丁对真实HPC应用程序和基准测试的性能影响。
• 评估安全加固更新是否显著降低HPC系统的性能。
• 确定性能退化是否在不同类型的HPC工作负载（包括科学应用程序和I/O基准测试）中保持一致。
• 利用XDMoD的应用程序内核监控功能，实现系统级变更前后性能的自动化、持续比较。
• 为HPC中心提供实证数据，以评估安全加固与应用程序性能之间的权衡。

提出的方法

• 使用XDMoD的应用程序内核模块，自动执行并监控HPC应用程序和基准测试在打补丁前后的性能。
• 选取了真实世界的HPC应用程序（NAMD、NWChem）和标准基准测试（HPCC、IMB、IOR、MDTest）进行测试。
• 在配备8个节点、每节点8个核心、Intel L5520 CPU和Infiniband互连的测试集群上进行性能测量。
• 应用内核级补丁以缓解CVE-2017-5753、CVE-2017-5715和CVE-2017-5754漏洞。
• 使用Welch's t检验（α = 0.05）统计判断补丁前后性能差异是否显著。
• 测量了各种工作负载和文件系统（本地和GPFS）下的运行时间、吞吐量及每秒操作数。

实验结果

研究问题

• RQ1 Meltdown和Spectre补丁对单节点HPC应用程序的性能影响如何？
• RQ2 应用Meltdown和Spectre缓解措施后，多节点并行HPC工作负载的性能表现如何？
• RQ3 是否存在某些基准测试或应用类型出现不成比例的高性能退化？
• RQ4 像IOR和MDTest这样的I/O密集型工作负载在打补丁后退化程度如何？
• RQ5 不同应用程序内核的性能退化是否具有统计显著性？

主要发现

• 单节点HPC应用程序在打补丁后性能下降2-3%，大多数情况下统计显著性较低。
• 多节点并行作业的性能退化为5-11%，其中本地存储上的MDTest表现最差，运行时间最高增加78.6%。
• 本地存储上的MDTest基准测试表现出最高退化，运行时间增加78.6%，每秒操作数最高下降26.3%。
• 部分微基准测试的个别指标性能退化高达74%，尤其在文件系统操作（如stat和read）中更为明显。
• 本地存储上的IOR基准测试写入打开时间增加12.5%，而POSIX读取吞吐量下降11.3%。
• 尽管存在少数极端异常值，但大多数指标未表现出统计显著的性能差异，表明大多数HPC工作负载仍基本不受影响。