[论文解读] Dynamic Loop Parallelisation

Adrian Jackson, Orestis Agathokleous|arXiv (Cornell University)|May 10, 2012

Parallel Computing and Optimization Techniques参考文献 6被引用 4

一句话总结

该论文提出了一种动态循环并行化系统，通过运行时选择嵌套循环区域中哪个循环进行并行化，实现了基于源到源编译器和类似 OpenMP 的指令注解的运行时决策。该方法优于静态 OpenMP if-else 条件方法，并可通过性能分析实现自动调优，尤其在非完全嵌套或动态变化的循环场景中表现优异，在大规模共享内存系统上观察到了性能提升。

ABSTRACT

Regions of nested loops are a common feature of High Performance Computing (HPC) codes. In shared memory programming models, such as OpenMP, these structure are the most common source of parallelism. Parallelising these structures requires the programmers to make a static decision on how parallelism should be applied. However, depending on the parameters of the problem and the nature of the code, static decisions on which loop to parallelise may not be optimial, especially as they do not enable the exploitation of any runtime characteristics of the execution including changes to the iterations of the loops to be parallelised. We have developed a system that allows a code to make a dynamic choice, at runtime, of what parallelism is applied to nested loops. Our method for providing dynamic decisions on which loop to parallelise significantly outperforms the standard methods for acheiving this through OpenMP (using if clauses).

研究动机与目标

• 解决 OpenMP 中静态循环并行化存在的局限性，即在运行时对并行化目标循环的单一固定选择可能并非最优。
• 克服因工作负载变化或非完全嵌套循环导致的 HPC 应用性能下降问题。
• 实现在无需手动代码修改的前提下，运行时自动动态选择最佳循环进行并行化。
• 通过根据实际执行特征自适应调整并行化策略，提升在大规模共享内存系统（100–1000 核）上的可扩展性。
• 开发一种实用且对用户透明的系统，采用源到源编译和轻量级运行时库，以支持动态决策。

提出的方法

• 使用源到源编译器自动生成嵌套循环区域中每个循环的多个版本，每个版本均用指令标注潜在的并行化目标。
• 引入基于指令的接口（类似 OpenMP），允许程序员为每个循环层级指定替代的并行化策略。
• 实现一个运行时库，通过评估性能启发式方法和性能分析数据，在运行时决定执行哪个循环版本进行并行化。
• 采用一种宽松的性能分析机制，仅记录循环迭代次数和执行时间，避免昂贵的内部循环计数以减少开销。
• 使用代码复制作为性能优化手段，通过为不同并行化选择创建独立执行路径，避免运行时分支惩罚。
• 集成一个决策函数，可在启发式选择与基于分析的决策之间进行选择，仅在启发式方法失败时才触发性能分析。

实验结果

研究问题

• RQ1 在工作负载可变或不规则的情况下，运行时的动态循环并行化是否能优于使用 if 子句的静态 OpenMP 循环并行化？
• RQ2 性能分析的开销如何影响动态循环选择的性能？是否能在不牺牲决策准确性的前提下降低开销？
• RQ3 在非完全嵌套的循环区域中，动态循环选择能在多大程度上提升性能，尤其是在静态选择明显次优的情况下？
• RQ4 尽管在软件工程中被视为代码异味，自动代码复制用于多个循环版本是否仍能带来性能增益？
• RQ5 轻量级、基于指令的系统是否能以极少的程序员投入和无需重大代码重构的方式，实现有效的循环并行化自动调优？

主要发现

• 该动态循环并行化系统显著优于标准的 OpenMP if-else 方法，尤其在工作负载可变或不规则的情况下表现突出。
• 宽松的性能分析机制通过消除内部循环计数，降低了开销，加快了决策速度，尤其在高线程数下性能提升明显。
• 在静态 if-else 方法失败的情况下（如 CFD 基准测试中 12 和 16 个线程时），该动态系统能正确选择最优循环进行并行化。
• 即使存在性能分析开销，该动态方法的性能仍可与仅依赖启发式的决策相媲美，证明了其实际可行性。
• 尽管通常不被推荐，代码复制在此上下文中证明了其有效性，通过消除嵌套并行区域的开销，实现了高效的运行时选择。
• 该系统在大规模共享内存系统上展现出良好的可扩展性和适应性，表明其在具有 100–1000 核的未来 HPC 工作负载中具有巨大潜力。