[论文解读] Model-based optimization of MPDATA on Intel Xeon Phi through load imbalancing

Alexey Lastovetsky, Łukasz Szustak+1 more|arXiv (Cornell University)|Jul 5, 2015

Parallel Computing and Optimization Techniques参考文献 25被引用 6

一句话总结

本文提出了一种基于模型的优化技术，通过有意制造工作负载不平衡，提升了英特尔至强融核处理器上MPDATA的性能，挑战了负载均衡始终能最大化性能的传统观念。通过使用功能性能模型寻找非均匀数据划分，该方法在先前已优化的负载均衡配置基础上实现了15%的性能提升。

ABSTRACT

Load balancing is a widely accepted technique for performance optimization of scientific applications on parallel architectures. Indeed, balanced applications do not waste processor cycles on waiting at points of synchronization and data exchange, maximizing this way the utilization of processors. In this paper, we challenge the universality of the load-balancing approach to optimization of the performance of parallel applications. First, we formulate conditions that should be satisfied by the performance profile of an application in order for the application to achieve its best performance via load balancing. Then we use a real-life scientific application, MPDATA, to demonstrate that its performance profile on a modern parallel architecture, Intel Xeon Phi, significantly deviates from these conditions. Based on this observation, we propose a method of performance optimization of scientific applications through load imbalancing. We also propose an algorithm that finds the optimal, possibly imbalanced, configuration of a data parallel application on a set of homogeneous processors. This algorithm uses functional performance models of the application to find the partitioning that minimizes its computation time but not necessarily balances the load of the processors. We show how to apply this algorithm to optimization of MPDATA on Intel Xeon Phi. Experimental results demonstrate that the performance of this carefully optimized load-balanced application can be further improved by 15\% using the proposed load-imbalancing optimization.

研究动机与目标

• 挑战并行科学应用中负载均衡始终能优化性能的假设。
• 识别负载均衡最小化计算时间的条件，并表明现实世界应用如英特尔至强融核处理器上的MPDATA并不满足这些条件。
• 开发一种新优化方法，利用性能建模寻找同构处理器上可能非均衡的最优数据划分。
• 将该方法应用于英特尔至强融核处理器上的MPDATA，并展示其在性能上超越负载均衡配置的可测量提升。

提出的方法

• 基于性能特征，制定负载均衡最小化计算时间的条件。
• 构建英特尔至强融核处理器上MPDATA的功能性能模型，以捕捉不同工作负载下非均匀的性能行为。
• 设计一种分区算法，通过使用性能模型指导选择，将数据非均匀地分配到处理器上，以最小化总计算时间。
• 将该算法应用于MPDATA，通过改变领域偏移量（Δm）探索非均衡配置，并识别最优配置。
• 通过在至强融核处理器上测量不同分区方案的执行时间，实验验证模型预测结果。
• 结合理论预测与实验测量，比较负载均衡与非均衡配置的性能，重点关注总执行时间和加速比。

实验结果

研究问题

• RQ1 在何种条件下，负载均衡能最小化并行应用的计算时间？
• RQ2 MPDATA在英特尔至强融核处理器上的性能特征在多大程度上偏离了负载均衡最优所要求的理想条件？
• RQ3 通过有意引入工作负载不平衡，能否在负载均衡配置的基础上进一步提升性能？
• RQ4 功能性能模型在多大程度上能准确预测最小化计算时间的最优非均匀分区？
• RQ5 在英特尔至强融核处理器上的MPDATA中，基于模型的负载非均衡优化所能实现的最大性能提升是多少？

主要发现

• MPDATA在英特尔至强融核处理器上的性能特征与负载均衡能最小化计算时间的理想条件存在显著偏离。
• 一种基于模型的优化方法，允许工作负载非均衡，相较于精心优化的负载均衡配置，实现了15%的性能提升。
• 对于480×480×128的领域，最优非均衡配置（Δm = 20）将执行时间从6.140秒（负载均衡）降低至5.338秒，实现了1.15倍的加速比。
• 理论性能模型准确预测了最优配置，预测误差不超过3%。
• 即使模型预测的配置并非最优，实验结果仍显示非均衡分区带来了稳定的性能增益，最大加速比出现在Δm = 9（小领域）。
• 由于测量开销未包含团队间同步延迟，总执行时间始终略长于最大单个团队执行时间。