[论文解读] MPI Benchmarking Revisited: Experimental Design and Reproducibility

Sascha Hunold, Alexandra Carpen-Amarie|arXiv (Cornell University)|May 28, 2015

Parallel Computing and Optimization Techniques参考文献 18被引用 6

一句话总结

本文提出了一种统计上可靠且可复现的MPI基准测试方法，解决了实验设计中的关键问题，包括时钟同步与进程同步，并识别出影响运行时测量结果的隐藏实验因素。通过引入一种新型时钟同步算法并结合严格的统计分析，作者们降低了测量方差，实现了在不同超级计算机架构上对MPI实现的公平、可复现的比较。

ABSTRACT

The Message Passing Interface (MPI) is the prevalent programming model used on today's supercomputers. Therefore, MPI library developers are looking for the best possible performance (shortest run-time) of individual MPI functions across many different supercomputer architectures. Several MPI benchmark suites have been developed to assess the performance of MPI implementations. Unfortunately, the outcome of these benchmarks is often neither reproducible nor statistically sound. To overcome these issues, we show which experimental factors have an impact on the run-time of blocking collective MPI operations and how to control them. We address the problem of process and clock synchronization in MPI benchmarks. Finally, we present a new experimental method that allows us to obtain reproducible and statistically sound MPI measurements.

研究动机与目标

• 解决现有MPI基准测试实践中可复现性和统计严谨性不足的问题。
• 识别并控制显著影响MPI运行时测量结果的实验因素，如编译器标志、DVFS设置和mpirun调用。
• 开发一个基准测试框架，确保MPI库性能比较的准确性、可复现性和统计有效性。
• 通过改进时钟和进程同步，降低MPI基准测试中的测量方差。
• 为异构超级计算系统之间MPI性能的评估提供一种标准化、基于证据的方法。

提出的方法

• 提出一种新型时钟同步算法，可补偿进程间时钟漂移，提升时间测量精度，超越简单的偏移校正。
• 采用基于窗口的同步方法，结合全局同步时钟，以最小化MPI函数测量中的时间抖动。
• 应用随机化实验设计，以控制链路顺序和环境规模等隐藏变量的影响。
• 采用非参数假设检验方法，特别是Wilcoxon符号秩检验，对不同MPI实现的性能进行稳健的统计推断。
• 实施多轮重复测量方案，并结合统计置信区间，以评估方差并确保结果可靠性。
• 利用Grid’5000测试平台验证该方法，证明其相比现有基准测试具有更低的方差和更高的可复现性。

实验结果

研究问题

• RQ1 时钟和进程同步方法在多大程度上影响MPI基准测试运行时的准确性和可复现性？
• RQ2 除了输入大小和消息长度之外，哪些实验因素显著影响MPI函数性能测量结果？
• RQ3 即使配置完全相同，mpirun调用本身在多大程度上会影响测量到的运行时间？
• RQ4 是否可以通过统计严谨的基准测试框架降低测量方差，并提升MPI性能评估的可复现性？
• RQ5 如何有效应用非参数统计检验方法，以高置信度和低第一类错误率比较MPI库性能？

主要发现

• 进程间时钟漂移会在MPI基准测试中引入显著的时间误差，尤其在短时操作中，必须加以校正才能实现准确测量。
• mpirun命令本身是关键的实验因素，即使配置完全相同，不同调用方式也可能导致显著不同的平均运行时间。
• 编译器标志和DVFS设置对MPI函数运行时间有可测量的影响，凸显了实验条件受控的必要性。
• 所提出的基准测试方法在实验中显著降低了测量方差，相比现有工具集，实现了更可复现、更可靠的性能比较。
• 采用Wilcoxon符号秩检验的统计分析为不同MPI实现之间的性能差异提供了有力证据，提升了基准比较的可靠性。
• 新提出的时钟同步算法通过考虑时钟漂移，其精度高于现有方法（如Netgauge、SKaMPI），显著降低了集体通信操作中的时间误差。