[论文解读] Many-Task Computing and Blue Waters

Daniel S. Katz, Timothy G. Armstrong+3 more|arXiv (Cornell University)|Feb 17, 2012

Distributed and Parallel Computing Systems参考文献 37被引用 14

一句话总结

本文倡导在Blue Waters超级计算机上增强对多任务计算（MTC）工作负载的支持，提出架构与策略改进，以优化MTC的独特需求——如低任务分发开销、高效I/O以及动态资源调配——并证明MTC应用在无需重大修改的情况下即可在Blue Waters上运行，且通过针对性的中间件与调度优化将获得显著性能提升。

ABSTRACT

This report discusses many-task computing (MTC) generically and in the context of the proposed Blue Waters systems, which is planned to be the largest NSF-funded supercomputer when it begins production use in 2012. The aim of this report is to inform the BW project about MTC, including understanding aspects of MTC applications that can be used to characterize the domain and understanding the implications of these aspects to middleware and policies. Many MTC applications do not neatly fit the stereotypes of high-performance computing (HPC) or high-throughput computing (HTC) applications. Like HTC applications, by definition MTC applications are structured as graphs of discrete tasks, with explicit input and output dependencies forming the graph edges. However, MTC applications have significant features that distinguish them from typical HTC applications. In particular, different engineering constraints for hardware and software must be met in order to support these applications. HTC applications have traditionally run on platforms such as grids and clusters, through either workflow systems or parallel programming systems. MTC applications, in contrast, will often demand a short time to solution, may be communication intensive or data intensive, and may comprise very short tasks. Therefore, hardware and software for MTC must be engineered to support the additional communication and I/O and must minimize task dispatch overheads. The hardware of large-scale HPC systems, with its high degree of parallelism and support for intensive communication, is well suited for MTC applications. However, HPC systems often lack a dynamic resource-provisioning feature, are not ideal for task communication via the file system, and have an I/O system that is not optimized for MTC-style applications. Hence, additional software support is likely to be required to gain full benefit from the HPC hardware.

研究动机与目标

• 分析多任务计算（MTC）应用的特性及其与传统HPC和HTC工作负载的差异需求。
• 识别现有HPC系统（如Blue Waters）在支持MTC工作负载方面的局限性，尤其在任务调度、I/O和通信方面。
• 提出具体硬件与软件增强方案，使Blue Waters在无需重大架构重构的前提下更高效地支持MTC应用。
• 倡导政策改革，优先考虑科学价值与结果时效性，而非实现范式，使MTC应用能够公平获取能力级资源。
• 证明MTC应用（包括需要紧急执行的应用，如健康或气候危机场景）在仅做最小系统修改的情况下，可在Blue Waters上实现更快的求解时间。

提出的方法

• 调研现有MTC应用（如AstroPortal、BLAST、Montage、OOPS），提取其共性模式与系统需求。
• 基于任务粒度、数据依赖结构与I/O通信模式对MTC应用进行分类。
• 评估生产级HPC与网格系统（如BG/P、XT5、Constellation）的能力，识别其在支持MTC工作负载方面的差距。
• 提出架构增强方案，如在计算节点上提供完整的Linux语义、为中间数据使用本地文件系统，以及部署具备网络直接访问能力的实用型工作节点以支持工作流管理器。
• 推荐灵活的调度粒度与通过用户友好API直接访问通信架构，以提升MTC中间件的集成效率。
• 主张部署I/O处理器以卸载中间件操作，减少主计算节点的争用。

实验结果

研究问题

• RQ1 MTC应用在任务结构、通信与I/O模式方面，与传统HPC和HTC工作负载有何不同？
• RQ2 现有HPC系统（如Blue Waters）在硬件与软件方面存在哪些具体限制，阻碍了MTC工作负载的高效执行？
• RQ3 为使Blue Waters能高效支持MTC应用，需进行哪些架构与中间件增强，以实现低分发开销与高I/O吞吐量？
• RQ4 系统策略应如何改革，才能基于科学价值而非实现风格，公平地将能力级资源分配给MTC应用？
• RQ5 在Blue Waters等系统上，MTC与细粒度并行模型（如MPI/OpenMP）结合的混合模式，能在多大程度上提升MTC应用的性能？

主要发现

• MTC应用与传统HPC和HTC工作负载不同，其特征为大量短时、数据依赖的任务，具有高通信与I/O需求。
• 尽管Blue Waters在技术上可支持MTC应用而无需重大重构，但其现有架构缺乏针对MTC工作负载的动态资源调配能力与优化I/O机制。
• 提供完整的Linux语义、计算节点本地文件系统，以及具备直接网络访问能力的实用型工作节点，可显著提升MTC支持，且对系统影响极小。
• 灵活的调度粒度与对通信架构的直接访问，对高效执行MTC中间件与工作流协调至关重要。
• 研究发现，与聚合的低性能系统相比，MTC应用在Blue Waters上可实现更快的求解时间，尤其在疾病爆发建模或气候危机等紧急场景中优势显著。
• 需推动政策改革，确保MTC应用不会因未采用单体MPI或共享内存模型而被资源分配机制边缘化。