[论文解读] Measuring the Optimality of Hadoop Optimization

Woocheol Kim, Changryong Baek+1 more|arXiv (Cornell University)|Jul 10, 2013

Cloud Computing and Resource Management参考文献 16被引用 3

一句话总结

本文提出了一种新度量 $vet_{job}$，通过分析硬件利用率和处理时间开销，量化 Hadoop 作业与其理论性能下限的接近程度。通过统计记录处理的性能特征来估算理想运行时间，该方法能够精确评估优化效果，其中 $vet_{job} = 1$ 表示完全优化，并在多种集群配置下表现出高精度。

ABSTRACT

In recent years, much research has focused on how to optimize Hadoop jobs. Their approaches are diverse, ranging from improving HDFS and Hadoop job scheduler to optimizing parameters in Hadoop configurations. Despite their success in improving the performance of Hadoop jobs, however, very little is known about the limit of their optimization performance. That is, how optimal is a given Hadoop optimization? When a Hadoop optimization method X improves the performance of a job by Y %, how do we know if this improvement is as good as it can be? To answer this question, in this paper, we first examine the ideal best case, the lower bound, of running time for Hadoop jobs and develop a measure to accurately estimate how optimal a given Hadoop optimization is with respect to the lower bound. Then, we demonstrate how one may exploit the proposed measure to improve the optimization of Hadoop jobs.

研究动机与目标

• 解决缺乏标准化度量来评估 Hadoop 优化距离其理论性能极限远近的问题。
• 识别并估算 Hadoop 作业运行时间的下限，同时考虑硬件利用率和处理开销。
• 开发一种实用且精确的度量方法，反映相对于理想情况的优化程度，且独立于特定优化器。
• 通过提供优化潜力的基准，补充现有工具如 Starfish。
• 指导 Hadoop 实践者识别尚未挖掘的性能提升机会。

提出的方法

• 对 Hadoop 作业中单个数据记录的处理时间进行详细分析，以在精度和分析开销之间取得平衡。
• 应用统计方法识别并排除处理时间中的异常值，聚焦于正常情况下的性能表现。
• 通过外推正常情况下的处理时间分布，估算每条记录的理想处理时间。
• 基于硬件和系统级开销，分别估算 Map 和 Reduce 任务的理想运行时间。
• 将 Map 和 Reduce 任务的估算结果整合为统一度量 $vet_{job}$，表示作业相对于理论下限的优化程度。
• 通过在多种集群配置和 Hadoop 设置下的真实实验验证该度量的有效性。

实验结果

研究问题

• RQ1 在给定硬件和系统约束条件下，Hadoop 作业的理论运行时间下限是什么？
• RQ2 如何在保持高精度的同时，以最小的分析开销估算 Hadoop 作业的理想性能？
• RQ3 现有优化技术在多大程度上可以依据其接近理论性能极限的程度进行评估？
• RQ4 与现有优化评估方法相比，所提出的 $vet_{job}$ 度量在准确性和实际应用价值方面表现如何？
• RQ5 该度量是否能有效指导超越 Starfish 等现有工具的进一步优化？

主要发现

• 所提出的 $vet_{job}$ 度量能准确估算 Hadoop 作业的优化程度，其中 $vet_{job} = 1$ 表示相对于理论下限的完全优化。
• 即使经过 Starfish 等工具的激进优化，实际 Hadoop 作业仍普遍存在显著的改进空间，这由 $vet_{job}$ 值远低于 1 所证实。
• 该方法成功识别出 CPU 利用率和上下文切换开销是性能估算中的关键但常被忽视的因素。
• 统计分析方法能有效过滤异常处理时间，从而可靠地估算正常情况下的处理时间。
• 在多种集群环境下的实验结果表明，$vet_{job}$ 提供了一致且准确的优化效果基准。
• 该度量通过提供独立、客观的优化增益评估标准，补充了现有工具如 Starfish。