[论文解读] High-throughput Execution of Hierarchical Analysis Pipelines on Hybrid Cluster Platforms

George Teodoro, Tony Pan+4 more|arXiv (Cornell University)|Sep 14, 2012

Distributed and Parallel Computing Systems参考文献 34被引用 3

一句话总结

本文提出了一种混合CPU-GPU运行时中间件，通过结合任务包（bag-of-tasks）与粗粒度数据流执行模型，实现了在集群平台上的分层数据分析流水线的高吞吐量执行。该中间件利用性能感知调度、数据局部性优化以及异步数据传输技术，在100个节点上实现了每秒150张图像切片的处理速度，显著优于单体或粗粒度方法。

ABSTRACT

We propose, implement, and experimentally evaluate a runtime middleware to support high-throughput execution on hybrid cluster machines of large-scale analysis applications. A hybrid cluster machine consists of computation nodes which have multiple CPUs and general purpose graphics processing units (GPUs). Our work targets scientific analysis applications in which datasets are processed in application-specific data chunks, and the processing of a data chunk is expressed as a hierarchical pipeline of operations. The proposed middleware system combines a bag-of-tasks style execution with coarse-grain dataflow execution. Data chunks and associated data processing pipelines are scheduled across cluster nodes using a demand driven approach, while within a node operations in a given pipeline instance are scheduled across CPUs and GPUs. The runtime system implements several optimizations, including performance aware task scheduling, architecture aware process placement, data locality conscious task assignment, and data prefetching and asynchronous data copy, to maximize utilization of the aggregate computing power of CPUs and GPUs and minimize data copy overheads. The application and performance benefits of the runtime middleware are demonstrated using an image analysis application, which is employed in a brain cancer study, on a state-of-the-art hybrid cluster in which each node has two 6-core CPUs and three GPUs. Our results show that implementing and scheduling application data processing as a set of fine-grain operations provide more opportunities for runtime optimizations and attain better performance than a coarser-grain, monolithic implementation. The proposed runtime system can achieve high-throughput processing of large datasets - we were able to process an image dataset consisting of 36,848 4Kx4K-pixel image tiles at about 150 tiles/second rate on 100 nodes.

研究动机与目标

• 为高效利用混合CPU-GPU集群系统进行大规模科学数据分析提供解决方案。
• 通过在异构硬件上实现细粒度、分层的流水线执行，提升数据密集型应用的性能与资源利用率。
• 通过智能调度与数据管理技术，最小化数据移动并最大化GPU利用率。
• 展示利用现代混合集群架构实现TB级生物医学图像数据集高吞吐量处理的可行性。
• 为复杂分析流水线的未来阶段扩展支持MapReduce风格处理。

提出的方法

• 中间件结合任务包与粗粒度数据流执行模型，用于在混合集群节点间调度数据块与流水线。
• 采用需求驱动的调度策略，根据资源可用性与性能特征动态分配任务。
• 性能感知任务调度根据预测加速比选择最优的CPU或GPU函数变体，降低运行时开销。
• 架构感知进程部署确保操作在每个节点内的CPU与GPU之间高效映射，综合考虑内存与计算容量。
• 数据局部性意识的任务分配通过将计算与数据共置，最小化数据传输成本。
• 异步数据复制与预取技术减少空闲时间，提升计算与数据移动之间的重叠度。

实验结果

研究问题

• RQ1 混合运行时中间件是否能在CPU-GPU集群平台上实现分层分析流水线的高吞吐量执行？
• RQ2 与单体实现相比，细粒度流水线分解在性能与调度灵活性方面表现如何？
• RQ3 性能感知调度与数据局部性优化在提升GPU利用率与减少I/O瓶颈方面能发挥多大作用？
• RQ4 该中间件在100个混合集群节点上处理大规模图像分析工作负载时的可扩展性如何？
• RQ5 异步数据传输与预取技术在隐藏数据移动延迟方面的效果如何？

主要发现

• 在处理来自胶质母细胞瘤研究的36,848张4K×4K图像切片时，该中间件在100个节点上实现了每秒150张图像切片的处理速率。
• 系统在100个节点上实现了77%的效率，相比FCFS基线提升了1.3倍，主要受限于高并行性下的I/O竞争。
• 采用函数变体的性能感知调度通过减少次优的CPU-GPU任务分配，降低了执行时间，即使在速度预测不准确的情况下亦然。
• 细粒度流水线分解带来了更好的调度与优化机会，性能显著优于单体实现。
• 在排除I/O开销后，理论效率达到93%，表明核心调度与执行优化极为有效。
• 该系统通过实现TB级数据集的亚四分钟处理，展示了在快速探索科学问题与敏感性分析方面的可行性。