[论文解读] Don't cry over spilled records: Memory elasticity of data-parallel applications and its application to cluster scheduling

Călin Iorgulescu, Florin Dinu+3 more|arXiv (Cornell University)|Feb 14, 2017

Cloud Computing and Resource Management参考文献 22被引用 6

一句话总结

本文识别并量化了数据并行工作负载中的内存弹性——即任务在仅承受适度性能损失的情况下，可显著减少内存使用。通过建模这种弹性并将其集成到 Apache YARN 中，作者展示了通过减少任务排队延迟，平均作业完成时间最多可提升 60%，利用内存使用与运行时之间的权衡，提升了集群调度效率。

ABSTRACT

Understanding the performance of data-parallel workloads when resource-constrained has significant practical importance but unfortunately has received only limited attention. This paper identifies, quantifies and demonstrates memory elasticity, an intrinsic property of data-parallel tasks. Memory elasticity allows tasks to run with significantly less memory that they would ideally want while only paying a moderate performance penalty. For example, we find that given as little as 10% of ideal memory, PageRank and NutchIndexing Hadoop reducers become only 1.2x/1.75x and 1.08x slower. We show that memory elasticity is prevalent in the Hadoop, Spark, Tez and Flink frameworks. We also show that memory elasticity is predictable in nature by building simple models for Hadoop and extending them to Tez and Spark. To demonstrate the potential benefits of leveraging memory elasticity, this paper further explores its application to cluster scheduling. In this setting, we observe that the resource vs. time trade-off enabled by memory elasticity becomes a task queuing time vs task runtime trade-off. Tasks may complete faster when scheduled with less memory because their waiting time is reduced. We show that a scheduler can turn this task-level trade-off into improved job completion time and cluster-wide memory utilization. We have integrated memory elasticity into Apache YARN. We show gains of up to 60% in average job completion time on a 50-node Hadoop cluster. Extensive simulations show similar improvements over a large number of scenarios.

研究动机与目标

• 识别并量化 Hadoop、Spark、Tez 和 Flink 等主流框架中数据并行任务内在的内存弹性特性。
• 证明内存弹性具有可预测性，并可使用简单的解析函数准确建模。
• 探索如何在集群调度中利用内存弹性以减少任务等待时间并改善作业完成时间。
• 将内存弹性集成到 Apache YARN 中，并评估其对集群级内存利用率和作业性能的影响。

提出的方法

• 作者测量在不同内存分配下任务的运行时间，以量化 shuffle 内存配置不足时的性能损失。
• 他们为 Hadoop 开发了简单的预测模型，描述运行时间与内存之间的权衡，随后通过少量调整将其扩展至 Spark 和 Tez。
• 使用真实集群 trace 数据，在包括 PageRank、NutchIndexing 等多个工作负载上验证了这些模型。
• 将内存弹性集成到 Apache YARN 中，作为 YARN-ME，一种基于任务弹性特征动态分配更少内存的改进调度器。
• 该调度器利用减少内存分配（降低等待时间）与增加运行时间（因外部排序导致）之间的权衡，以优化作业完成时间。
• 通过在 50 个节点的 Hadoop 集群上进行大量仿真和真实实验，评估了内存弹性对作业完成时间和资源利用率的影响。

实验结果

研究问题

• RQ1 数据并行任务在不产生不可接受性能损失的情况下，能容忍多大程度的内存减少？
• RQ2 内存配置不足时的性能退化程度有多可预测？是否可被准确建模？
• RQ3 能否在集群调度中利用内存弹性以减少任务排队时间并改善作业完成时间？
• RQ4 基于内存弹性的调度器对任务内存或执行惩罚的误估有多强的鲁棒性？

主要发现

• 当分配的内存仅为理想值 10% 时，PageRank 和 NutchIndexing Hadoop 归约器的运行速度分别仅降低 1.22 倍和 1.75 倍。
• 即使在仅分配 10% 理想内存的情况下，Hadoop 映射器的最大性能损失也仅为 1.5 倍，表明其具有极强的内存弹性。
• 相同的性能损失在 Spark、Tez 和 Flink 中也观察到，表明内存弹性在主流数据并行框架中普遍存在。
• YARN-ME（增强型调度器）通过利用内存弹性，在 50 个节点的 Hadoop 集群上实现了平均作业完成时间最多 60% 的提升。
• 该调度器对任务持续时间误估具有鲁棒性，即使任务运行时间被低估高达 50%，仍能保持相似的性能增益。
• 模型误估的影响微乎其微：正向内存误估可使 YARN-ME 最多获得 45% 的性能增益，而惩罚误估最多仅使增益减少 4%。