[论文解读] A figure of merit for describing the performance of scaling of parallelization

János Végh, Péter Molnár+1 more|arXiv (Cornell University)|Jun 8, 2016

Parallel Computing and Optimization Techniques参考文献 9被引用 4

一句话总结

本文提出了一种基于实测运行时间和线程数量推导出的实验性性能指标 αeff，用于量化多核系统中并行化的性能。通过反演阿姆达尔定律，并将顺序开销重新解释为包含管理开销和负载不平衡，αeff 能够捕捉实际并行化效率，从而实现对编译器、硬件架构和通信策略的客观比较。

ABSTRACT

With the spread of multi- and many-core processors more and more typical task is to re-implement some source code written originally for a single processor to run on more than one cores. Since it is a serious investment, it is important to decide how much efforts pays off, and whether the resulting implementation has as good performability as it could be. The Amdahl's law provides some theoretical upper limits for the performance gain reachable through parallelizing the code, but it needs the detailed architectural knowledge of the program code, does not consider the housekeeping activity needed for parallelization and cannot tell how the actual stage of parallelization implementation performs. The present paper suggests a quantitative measure for that goal. This figure of merit is derived experimentally, from measured running time, and number of threads/cores. It can be used to quantify the used parallelization technology, the connection between the computing units, the acceleration technology under the given conditions, communication method within SoC, or the performance of the software team/compiler.

研究动机与目标

• 解决阿姆达尔定律在测量实际并行化性能时的局限性，因为其忽略了管理开销和非均匀负载分布的影响。
• 开发一种基于实验数据的定量指标，反映实际并行化效率，超越理论加速比。
• 实现对并行化技术（包括编译器、硬件架构和通信策略）的客观比较。
• 提供一种可扩展的性能指标，考虑实际因素如同步、负载不平衡和处理器间通信。

提出的方法

• 通过实测执行时间和线程数量反演阿姆达尔定律，将所有不可并行化的工作视为有效顺序部分，推导出 αeff。
• 将传统阿姆达尔定律中的 α 重新解释为 αeff = (k / (k - 1)) * (S⁻¹ - 1) / S⁻¹，其中 S⁻¹ 为每核加速比的倒数。
• 利用多核和 SoC 系统上的 Linpack 基准测试和基于 PSO 的优化的实测数据计算 αeff。
• 将该指标应用于比较不同通信策略（环形、邻域、广播）和硬件平台的性能。
• 分析 (1 − αeff) 如何反映有效顺序部分，包括同步和负载不平衡的影响。
• 在多种系统上验证该指标，结果表明其与核心数量增加时观察到的性能下降具有稳定相关性。

实验结果

研究问题

• RQ1 如何在理论加速比预测之外，对并行化性能进行定量测量？
• RQ2 管理开销和负载不平衡在多大程度上影响实际并行化效率？
• RQ3 αeff 是否可作为可靠、基于实验的指标，用于比较不同编译器、架构或通信策略？
• RQ4 在不同硬件和软件配置下，随着核心数量增加，有效并行化比例 αeff 如何变化？
• RQ5 通信策略在决定并行应用中有效顺序部分 (1 − αeff) 的作用是什么？

主要发现

• αeff 是一种稳健的、基于实验推导的性能指标，能够量化实际并行化性能，同时考虑管理开销和负载不平衡的影响。
• 当通信开销最小时，(1 − αeff) 在不同核心数量下保持相对恒定，表明有效顺序部分稳定。
• 对于 Linpack 基准测试，(1 − αeff) 在不同处理器数量下保持在测量误差范围内，表明并行化效率一致。
• 在基于 PSO 的优化中，广播通信策略随核心数量增加而提高 (1 − αeff)，表明顺序开销增加；而环形和邻域策略则显示最小增加。
• 该指标表明，每核加速比随核心数量增加而下降，且这种退化被 (1 − αeff) 准确捕捉，验证了其作为性能指标的有效性。
• αeff 实现了对并行化技术的客观比较，表明编译器和架构在实际中利用并行性的能力存在显著差异。