[论文解读] Evaluation of Distributed Data Processing Frameworks in Hybrid Clouds

Faheem Ullah, Shagun Dhingra+2 more|arXiv (Cornell University)|Jan 6, 2022

Cloud Computing and Resource Management被引用 8

一句话总结

本文在结合 OpenStack（私有云）与 Microsoft Azure（公有云）的混合云环境中，评估了 Hadoop、Spark 和 Flink 的表现，测量了执行时间、资源利用率、可扩展性及成本。结果表明，Flink 在执行时间上表现最佳，Spark 成本效益最高，且在所有框架中，横向扩展相比纵向扩展能带来更优的性能提升。

ABSTRACT

Distributed data processing frameworks (e.g., Hadoop, Spark, and Flink) are widely used to distribute data among computing nodes of a cloud. Recently, there have been increasing efforts aimed at evaluating the performance of distributed data processing frameworks hosted in private and public clouds. However, there is a paucity of research on evaluating the performance of these frameworks hosted in a hybrid cloud, which is an emerging cloud model that integrates private and public clouds to use the best of both worlds. Therefore, in this paper, we evaluate the performance of Hadoop, Spark, and Flink in a hybrid cloud in terms of execution time, resource utilization, horizontal scalability, vertical scalability, and cost. For this study, our hybrid cloud consists of OpenStack (private cloud) and MS Azure (public cloud). We use both batch and iterative workloads for the evaluation. Our results show that in a hybrid cloud (i) the execution time increases as more nodes are borrowed by the private cloud from the public cloud, (ii) Flink outperforms Spark, which in turn outperforms Hadoop in terms of execution time, (iii) Hadoop transfers the largest amount of data among the nodes during the workload execution while Spark transfers the least amount of data, (iv) all three frameworks horizontally scale better as compared to vertical scaling, and (v) Spark is found to be least expensive in terms of $ cost for data processing while Hadoop is found the most expensive.

研究动机与目标

• 为解决 Hadoop、Spark 和 Flink 在混合云环境中缺乏对比评估的问题。
• 分析云 bursting（从公有云借用计算节点）对执行时间和性能的影响。
• 评估三种框架在横向与纵向可扩展性、资源利用率（CPU、RAM、磁盘）及成本效率方面的表现。
• 基于工作负载类型、可扩展性模式与成本，为混合云部署中的框架选型提供实证洞察。
• 建立真实世界混合云配置下分布式数据处理框架的性能基线。

提出的方法

• 使用 OpenStack（私有云，CREST 实验室，阿德莱德）与 Microsoft Azure（公有云，悉尼区域）构建混合云环境。
• 在私有云与公有云的虚拟机组合上配置 Hadoop、Spark 和 Flink，以模拟云 bursting 场景。
• 通过批处理与迭代式工作负载进行实验，测量执行时间、数据传输量及资源利用率（CPU、RAM、磁盘）。
• 通过改变虚拟机数量（横向扩展）与每台虚拟机的核心数（纵向扩展）来评估可扩展性。
• 基于公有云使用情况（虚拟机与带宽）计算成本，并对比各框架的总成本。
• 使用 WireGuard 安全连接私有云与公有云环境，以确保网络行为的一致性。

实验结果

研究问题

• RQ1 在混合云架构中，随着从公有云借用更多节点，Hadoop、Spark 和 Flink 的执行时间如何变化？
• RQ2 在混合云环境中，Hadoop、Spark 和 Flink 三者中哪一框架在执行时间上表现最佳？
• RQ3 在混合云环境中执行工作负载时，Hadoop、Spark 和 Flink 在节点间的数据传输量有何差异？
• RQ4 在混合云环境中，Hadoop、Spark 和 Flink 的横向扩展与纵向扩展相比，性能表现如何？
• RQ5 在考虑公有云使用与带宽成本的前提下，哪一框架在混合云中数据处理成本最低？

主要发现

• 随着从公有云借用更多节点，执行时间增加，表明跨云网络延迟与带宽对性能有显著影响。
• Flink 的执行时间最短，其次为 Spark，Hadoop 最长，且 Flink 在批处理与迭代式工作负载中均优于 Spark 和 Hadoop。
• Hadoop 在执行过程中在节点间传输的数据量最大，而 Spark 传输量最小，这是由于其内存内处理与优化的数据洗牌机制。
• 三种框架均表现出横向扩展优于纵向扩展，且横向扩展带来更一致的性能提升。
• Spark 是成本效益最高的框架，Hadoop 因资源消耗更高且执行时间更长而成本最高。
• 资源利用率（CPU、RAM、磁盘）存在显著差异：Spark 比 Hadoop 使用更多 RAM，但因执行速度更快，整体效率更高。