[论文解读] A Survey of Methods for Collective Communication Optimization and Tuning

Udayanga Wickramasinghe, Andrew Lumsdaine|arXiv (Cornell University)|Nov 19, 2016

DNA and Biological Computing参考文献 58被引用 12

一句话总结

本文提出UMTAC，一种新颖的混合机器学习架构，通过结合多种预测器、降低特征维度并实现自动化的可扩展参数调优，以优化HPC工作负载中的集体通信。它通过集成学习和降维技术，解决调优参数的组合爆炸问题，旨在为百亿亿级系统生成稳健且可泛化的性能预测模型。

ABSTRACT

New developments in HPC technology in terms of increasing computing power on multi/many core processors, high-bandwidth memory/IO subsystems and communication interconnects, pose a direct impact on software and runtime system development. These advancements have become useful in producing high-performance collective communication interfaces that integrate efficiently on a wide variety of platforms and environments. However, number of optimization options that shows up with each new technology or software framework has resulted in a \emph{combinatorial explosion} in feature space for tuning collective parameters such that finding the optimal set has become a nearly impossible task. Applicability of algorithmic choices available for optimizing collective communication depends largely on the scalability requirement for a particular usecase. This problem can be further exasperated by any requirement to run collective problems at very large scales such as in the case of exascale computing, at which impractical tuning by brute force may require many months of resources. Therefore application of statistical, data mining and artificial Intelligence or more general hybrid learning models seems essential in many collectives parameter optimization problems. We hope to explore current and the cutting edge of collective communication optimization and tuning methods and culminate with possible future directions towards this problem.

研究动机与目标

• 解决由于HPC硬件和软件栈不断演进而导致的集体通信调优参数组合爆炸问题。
• 克服缺乏通用化、可移植的集体通信实现方案，这些方案能在多样化运行时环境中保持高性能。
• 构建一个统一、可扩展的框架，用于在不同硬件和应用上下文中预测最优集体通信参数。
• 通过细粒度的性能建模，在应用原型设计阶段实现性能瓶颈的早期检测。
• 为集体操作创建一个稳健且可泛化的预测模型，使其能够扩展至百亿亿级工作负载。

提出的方法

• 提出UMTAC，一种模块化架构，将UMTAC基础回归模型与集成学习技术（如自助聚合和提升）结合，以整合多个预测器。
• 通过主成分分析（PCA）、因子分析和多维缩放技术进行特征降维，以消除相关和无关的输入特征，降低维度并提升模型效率。
• 在组件之间引入反馈回路，利用运行时数据和系统反馈迭代优化模型。
• 使用模型验证器确保预测结果满足预设阈值；若性能未达标，则通过反应核心触发模型优化。
• 利用反应核心采用梯度下降等优化技术执行参数扫描，以推断给定处理器数量或配置下的最优参数集。
• 整合机器学习与数据挖掘的最佳实践，构建适用于集体操作的强健混合预测函数。

实验结果

研究问题

• RQ1 如何在多样化HPC平台上有效管理集体通信调优参数的组合爆炸问题？
• RQ2 哪些机器学习与数据挖掘技术能够生成稳健且可泛化的集体通信性能预测器？
• RQ3 集成学习与降维技术能否提升集体通信调优模型的准确性和可扩展性？
• RQ4 统一架构在多大程度上能够实现集体操作在百亿亿级规模下的自动化、可扩展且精确的参数优化？
• RQ5 此类系统在应用开发生命周期早期检测性能瓶颈的能力有多大？

主要发现

• UMTAC通过结合多种学习模型并利用降维技术减少特征空间，实现了集体通信参数的可扩展、自动化调优。
• 该架构支持性能预测与基于梯度下降等迭代优化策略的最优参数外推。
• 通过集成袋装法（bagging）和提升法（boosting）等方法，UMTAC显著提升了在多样化硬件与软件环境下的预测器鲁棒性与泛化能力。
• 模型验证组件通过将预测结果与用户定义的阈值进行比较，确保了可靠性；当性能不达标时，会触发模型优化。
• 反应核心组件能够高效搜索大规模可枚举参数空间中的最优参数集，支持快速原型设计与早期瓶颈检测。
• 所提出的架构通过整合多样化输入特征并消除冗余，有效应对了HPC调优中的特征爆炸核心挑战，从而构建出更强大、更具可移植性的预测器。