[论文解读] Design and implementation of self-adaptable parallel algorithms for scientific computing on highly heterogeneous HPC platforms

Alexey Lastovetsky, Ravi Reddy+2 more|arXiv (Cornell University)|Sep 14, 2011

Distributed and Parallel Computing Systems参考文献 20被引用 6

一句话总结

本文提出了一类新型的自适应并行算法，适用于高度异构的高性能计算（HPC）平台，该算法在执行过程中动态估算处理器速度函数，而非依赖预先计算的模型。通过以低计算成本构建部分准确的速度函数估计，该方法实现了高效、接近最优的任务分配，且分配决策的执行时间比优化后应用程序的总运行时间低多个数量级，使其在自适应系统中具有可行性。

ABSTRACT

Traditional heterogeneous parallel algorithms, designed for heterogeneous clusters of workstations, are based on the assumption that the absolute speed of the processors does not depend on the size of the computational task. This assumption proved inaccurate for modern and perspective highly heterogeneous HPC platforms. New class of algorithms based on the functional performance model (FPM), representing the speed of the processor by a function of problem size, has been recently proposed. These algorithms cannot be however employed in self-adaptable applications because of very high cost of construction of the functional performance model. The paper presents a new class of parallel algorithms for highly heterogeneous HPC platforms. Like traditional FPM-based algorithms, these algorithms assume that the speed of the processors is characterized by speed functions rather than speed constants. Unlike the traditional algorithms, they do not assume the speed functions to be given. Instead, they estimate the speed functions of the processors for different problem sizes during their execution. These algorithms do not construct the full speed function for each processor but rather build and use their partial estimates sufficient for optimal distribution of computations with a given accuracy. The low execution cost of distribution of computations between heterogeneous processors in these algorithms make them suitable for employment in self-adaptable applications. Experiments with parallel matrix multiplication applications based on this approach are performed on local and global heterogeneous computational clusters. The results show that the execution time of optimal matrix distribution between processors is significantly less, by orders of magnitude, than the total execution time of the optimized application.

研究动机与目标

• 解决传统异构并行算法的局限性，后者假设处理器速度恒定，与问题规模无关。
• 克服在自适应应用中构建完整功能性能模型（FPM）的高昂成本。
• 设计一类新型并行算法，仅估算处理器速度函数中必要的部分，以实现最优负载均衡。
• 确保分配决策的运行时开销极低，使该方法适用于科学计算中的实时自适应。
• 通过在本地和全球异构集群上的矩阵乘法工作负载实验，验证该方法的有效性。

提出的方法

• 该方法在应用程序执行过程中动态估算处理器速度函数，仅使用部分函数近似。
• 将处理器性能建模为问题规模的函数，避免依赖固定的速率常数。
• 算法仅构建并使用实现接近最优负载分配所必需的最少量速度函数片段。
• 通过聚焦于相关的问题规模和运行时测量，避免构建完整的FPM。
• 将这些部分估计集成到轻量级分配机制中，以最小化运行时成本。
• 通过在异构集群上进行并行矩阵乘法的实验评估该方法，将分配成本与总应用程序执行时间进行比较。

实验结果

研究问题

• RQ1 在高度异构的HPC平台上，动态且部分估算处理器速度函数是否能实现高效的负载均衡？
• RQ2 与使用预先计算的FPM相比，使用估算的速度函数进行分配决策的运行时成本是多少？
• RQ3 分配的开销与优化后科学应用程序的总执行时间相比如何？
• RQ4 所提出的方法是否可在自适应应用中有效使用，其中适应的开销必须尽可能小？
• RQ5 与基于完整FPM的方法相比，部分估算方法在任务分配中的准确性保持程度如何？

主要发现

• 使用部分速度函数估计进行最优分配的执行时间显著降低——低多个数量级——相比优化后应用程序的总执行时间。
• 所提出的方法以极低的运行时成本实现了接近最优的负载分配，适用于自适应系统。
• 在执行过程中动态估算速度函数避免了构建完整FPM的高昂成本，使实际部署成为可能。
• 在本地和全球异构集群上的实验结果证实了该方法在真实科学计算工作负载中的高效性和可扩展性。
• 该方法将适应开销降低到总应用程序时间的可忽略不计比例，使科学应用中的实时自适应成为可能。