[论文解读] Load Balancing for Skewed Streams on Heterogeneous Cluster

Muhammad Anis Uddin Nasir, Hiroshi Horii+5 more|arXiv (Cornell University)|May 25, 2017

Cloud Computing and Resource Management参考文献 47被引用 4

一句话总结

本文提出了一种名为一致性分组（Consistent Grouping, CG）的新负载均衡策略，用于在资源异构且数据倾斜的分布式流处理集群中实现高效负载均衡。通过采用容量感知的虚拟工作节点与一致性哈希机制，CG 能够动态平衡处理单元之间的负载，在保持低内存开销的前提下，相比关键分组（key grouping）实现 3.44 倍的延迟降低与 2 倍的吞吐量提升。

ABSTRACT

Streaming applications frequently encounter skewed workloads and execute on heterogeneous clusters. Optimal resource utilization in such adverse conditions becomes a challenge, as it requires inferring the resource capacities and input distribution at run time. In this paper, we tackle the aforementioned challenges by modeling them as a load balancing problem. We propose a novel partitioning strategy called Consistent Grouping (CG), which enables each processing element instance (PEI) to process the workload according to its capacity. The main idea behind CG is the notion of small, equal-sized virtual workers at the sources, which are assigned to workers based on their capacities. We provide a theoretical analysis of the proposed algorithm and show via extensive empirical evaluation that our proposed scheme outperforms the state-of-the-art approaches, like key grouping. In particular, CG achieves 3.44x better performance in terms of latency compared to key grouping.

研究动机与目标

• 解决在资源异构且数据倾斜的集群上运行的分布式流处理引擎中负载不均的问题。
• 克服现有分组策略（关键分组（KG）与随机分组（SG））的局限性，这些策略未能考虑资源异构性与输入倾斜的影响。
• 设计一种轻量级、有状态的分组策略，确保负载分配公平，同时最小化内存占用与聚合开销。
• 实现在无需集中协调或运行时统计信息收集的前提下，动态适应集群资源容量的变化。
• 在真实部署场景（如 Apache Storm）中实现最优资源利用率与可扩展性，无论在同构还是异构环境下均表现优异。

提出的方法

• 在流源级别引入虚拟工作节点，每个虚拟工作节点根据其相对容量被分配至物理工作节点。
• 使用一致性哈希将键映射到虚拟工作节点，确保在工作节点容量变化时实现平滑的重新平衡。
• 根据物理工作节点的资源容量（CPU、内存）按比例分配虚拟工作节点，实现容量感知的负载分发。
• 利用随机选择机制减少虚拟工作节点分配中的不平衡性，降低负载分布的方差。
• 通过理论分析确保不平衡比处于有界范围，从而在动态环境下实现可预测的性能表现。
• 以支持有状态与无状态流处理工作负载的方式实现该方案，同时保持极低的状态与协调开销。

实验结果

研究问题

• RQ1 当输入数据存在倾斜且集群资源异构时，如何在分布式流处理引擎中实现有效的负载均衡？
• RQ2 基于虚拟工作节点的方法相比传统关键分组与随机分组，在负载均衡公平性方面能提升多少？
• RQ3 是否可以设计一种轻量级、去中心化的分组策略，在无需集中监控或协调的前提下，动态适应资源容量的变化？
• RQ4 所提出的 Consistent Grouping（CG）方案对真实部署中端到端延迟、吞吐量与内存占用的影响如何？
• RQ5 在动态资源变化（如 CPU 限速或工作节点容量波动）条件下，该方案的性能表现如何？

主要发现

• 在异构集群环境中，CG 相比关键分组将端到端延迟降低了 3.44 倍。
• 在 Apache Storm 部署的真实数据集上，CG 的吞吐量最高可达关键分组的 2 倍。
• 在同构集群中，CG 的内存开销仅为 8.5%，显著低于随机分组的 14%，同时相比关键分组在延迟与吞吐量方面表现更优。
• CG 能够高效适应动态资源变化（如 CPU 限速），保持性能稳定且不平衡度低。
• 理论分析证实，CG 实现了有界的不平衡性，确保在工作节点间实现可预测且公平的负载分配。
• 在合成数据集与真实数据集（如 TW 数据集）上的实证评估表明，CG 实现了最优的内存占用与卓越的可扩展性。