[论文解读] GLB: Lifeline-based Global Load Balancing library in X10

Wei Zhang, Olivier Tardieu+5 more|arXiv (Cornell University)|Dec 19, 2013

Distributed and Parallel Computing Systems参考文献 6被引用 6

一句话总结

GLB 是 X10 中的一个全局负载均衡库，通过采用基于生命线的工作窃取算法，在分布式内存系统上实现了对不规则并行工作负载的高效、可扩展执行。它通过抽象底层同步机制，使用户仅需编写少量代码改动的顺序任务逻辑，即可在多种架构（Power、Blue Gene/Q、K）上实现高达 16,000 个核心的近线性加速比。

ABSTRACT

We present GLB, a programming model and an associated implementation that can handle a wide range of irregular paral- lel programming problems running over large-scale distributed systems. GLB is applicable both to problems that are easily load-balanced via static scheduling and to problems that are hard to statically load balance. GLB hides the intricate syn- chronizations (e.g., inter-node communication, initialization and startup, load balancing, termination and result collection) from the users. GLB internally uses a version of the lifeline graph based work-stealing algorithm proposed by Saraswat et al. Users of GLB are simply required to write several pieces of sequential code that comply with the GLB interface. GLB then schedules and orchestrates the parallel execution of the code correctly and efficiently at scale. We have applied GLB to two representative benchmarks: Betweenness Centrality (BC) and Unbalanced Tree Search (UTS). Among them, BC can be statically load-balanced whereas UTS cannot. In either case, GLB scales well-- achieving nearly linear speedup on different computer architectures (Power, Blue Gene/Q, and K) -- up to 16K cores.

研究动机与目标

• 解决大规模分布式系统中工作负载不规则且不可预测时的动态负载均衡挑战。
• 提供一种高层级编程模型，隐藏用户复杂的同步、通信和负载均衡逻辑。
• 在无需了解底层系统知识的前提下，实现对异构架构（Power、Blue Gene/Q、K）上不规则应用程序的高效、可扩展并行执行。
• 通过统一的、确定性的框架同时支持静态和动态负载均衡工作负载，确保结果正确且可重复。
• 通过仅允许开发者编写顺序任务逻辑，最小化用户代码更改，同时由库自动处理分发、调度和结果归约。

提出的方法

• 采用基于生命线图的工作窃取算法 [23] 作为核心负载均衡机制，实现在分布式节点间高效的任务迁移。
• 利用 X10 的异步分区全局地址空间（APGAS）模型，统一表达节点内和节点间的并发，简化分布与协调。
• 允许用户将任务定义为自包含单元，包含本地状态并可访问不可变引用数据，从而实现任务在各计算节点间的可迁移性。
• 自动将任务分发到所有可用计算节点，并原生支持容错、终止检测和结果归约，实现任务的编排执行。
• 支持用户可调参数，如任务粒度和随机/生命线受害者数量，以在吞吐量与响应延迟之间优化性能权衡。
• 利用 X10 原生序列化支持，透明传输用户定义的数据类型，无需编写显式序列化代码。

实验结果

研究问题

• RQ1 如何设计一个全局负载均衡框架，以同时处理大规模分布式系统中静态和动态负载均衡的不规则工作负载？
• RQ2 高层级编程模型是否能够隐藏复杂同步与通信逻辑，同时在 16,000 个核心上实现近线性可扩展性？
• RQ3 在分布式内存环境中，基于生命线的工作窃取模型相较于传统工作窃取或集中式负载均衡方法，在性能上有多大的优势？
• RQ4 如何在保持对任务逻辑和性能调优完全控制的前提下，最小化并简化用户代码，同时在可扩展并行框架中实现高效开发？
• RQ5 该框架在多种架构（Power、Blue Gene/Q、K）及不规则基准测试（如 UTS 和 BC）下的性能特征如何？

主要发现

• GLB 在 Power、Blue Gene/Q 和 K 架构上对介于中心性（BC）和不平衡树搜索（UTS）基准测试均实现了近乎线性的加速比。
• 该框架可高效扩展至 16,000 个核心，对静态和动态负载均衡工作负载均表现出强大的可扩展性。
• 在先前基于 X10 的实验中，GLB 在 55,680 个 Power7 核心上实现了 98% 的并行效率，表明其在大规模系统中具有高性能表现。
• 该库使用户仅需编写顺序任务逻辑，无需显式通信或同步代码，显著降低了开发复杂度。
• 利用 X10 的原生序列化和 APGAS 模型，简化了节点间数据传输，减少了对底层系统编程的需求。
• 通过任务粒度和生命线受害者数量等参数支持性能调优，用户无需深入系统知识即可优化吞吐量或延迟。