[论文解读] Hadoop Performance Models

Herodotos Herodotou|arXiv (Cornell University)|Jun 6, 2011

Cloud Computing and Resource Management被引用 112

一句话总结

本文提出了针对Hadoop MapReduce作业的全面数学性能模型，将执行过程细分为多个阶段（如读取、映射、溢写、洗牌、归约、写入）。通过使用可配置参数、Hadoop设置和配置统计信息，该模型能够精确估算I/O、CPU和网络开销，从而实现对作业配置的优化以提升性能。

ABSTRACT

Hadoop MapReduce is now a popular choice for performing large-scale data analytics. This technical report describes a detailed set of mathematical performance models for describing the execution of a MapReduce job on Hadoop. The models describe dataflow and cost information at the fine granularity of phases within the map and reduce tasks of a job execution. The models can be used to estimate the performance of MapReduce jobs as well as to find the optimal configuration settings to use when running the jobs.

研究动机与目标

• 开发准确的、基于阶段的Hadoop MapReduce作业性能模型，以支持性能预测和配置调优。
• 识别并量化关键Hadoop配置参数对作业执行开销的影响。
• 对MapReduce作业的端到端成本进行建模，涵盖映射和归约阶段的I/O、CPU和网络开销。
• 在无需完整执行的情况下，实现作业性能的分析估算，以支持高效的作业配置推荐。
• 提供一种通过数学建模实现成本感知的配置选择框架，以优化MapReduce作业性能。

提出的方法

• 该模型将MapReduce作业执行分解为五个映射阶段：读取、映射、收集、溢写和合并，以及四个归约阶段：洗牌、合并、归约和写入。
• 每个阶段均根据输入参数分配一个成本函数，包括Hadoop配置设置（如io.sort.mb、mapred.reduce.tasks）、配置统计信息（如输入键值对宽度、函数选择性）以及成本因子（如每字节或每对的I/O、CPU、网络开销）。
• 成本函数使用基于时间的度量：I/O和网络开销按字节计算，而CPU开销按键值对或压缩/解压缩的每字节计算。
• 使用恒等函数I(x)根据配置标志有条件地激活组件（如合并函数、压缩）。
• 通过将所有映射和归约任务的成本聚合，并按节点和任务限制（pMaxMapsPerNode、pMaxRedPerNode）进行缩放，计算整体作业成本。
• 网络开销建模为洗牌期间传输的总数据量，考虑非本地数据移动：netTransferSize = finalOutMapSize × pNumMappers × (pNumNodes−1)/pNumNodes。

实验结果

研究问题

• RQ1 如何通过阶段级的数学模型准确预测Hadoop MapReduce作业的性能？
• RQ2 I/O、CPU和网络开销在映射和归约任务各阶段中的相对贡献是什么？
• RQ3 Hadoop配置参数（如缓冲区大小、溢写阈值、压缩设置）如何影响整体作业开销？
• RQ4 分析成本模型在多大程度上可以替代完整作业执行以实现性能预测和配置调优？
• RQ5 数据特征（如输入大小、压缩比、映射/归约函数的选择性）如何影响性能模型的结果？

主要发现

• 该模型通过结合Hadoop参数、配置统计信息和系统成本因子，聚合各阶段的I/O、CPU和网络开销，实现了对作业开销的精确估算。
• 模型中包含压缩和合并函数显著影响CPU和I/O开销，其中压缩可减少I/O但会增加CPU开销。
• 网络开销与洗牌期间传输的总数据量成正比，该数据量取决于映射器数量和非本地数据的比例，建模为netTransferSize = finalOutMapSize × pNumMappers × (pNumNodes−1)/pNumNodes。
• 分析成本模型（公式98）提供了一种可扩展的方式，将总作业开销表示为IOCost_Job、CPUCost_Job和NETCost_Job之和，从而支持配置优化。
• 该模型通过隔离io.sort.mb、mapred.reduce.tasks和压缩设置等参数对整体性能的影响，支持配置调优。
• 该模型的模块化结构允许通过恒等函数I(x)有条件地激活组件（如合并、压缩），从而实现灵活且正确的成本计算。