[论文解读] Bellamy: Reusing Performance Models for Distributed Dataflow Jobs Across Contexts

Dominik Scheinert, Lauritz Thamsen+5 more|arXiv (Cornell University)|Jul 29, 2021

Cloud Computing and Resource Management参考文献 36被引用 17

一句话总结

Bellamy 提出了一种用于分布式数据流作业的黑盒运行时预测模型，通过整合扩展规模、数据集大小和描述性作业属性，实现跨不同执行上下文的性能数据重用。该方法采用两步走策略——先在多上下文数据上训练一个通用模型，再针对特定上下文进行微调，从而在具有非平凡扩展行为的算法上实现更优的插值性能，并通过预训练权重实现更快的训练速度。

ABSTRACT

Distributed dataflow systems enable the use of clusters for scalable data analytics. However, selecting appropriate cluster resources for a processing job is often not straightforward. Performance models trained on historical executions of a concrete job are helpful in such situations, yet they are usually bound to a specific job execution context (e.g. node type, software versions, job parameters) due to the few considered input parameters. Even in case of slight context changes, such supportive models need to be retrained and cannot benefit from historical execution data from related contexts. This paper presents Bellamy, a novel modeling approach that combines scale-outs, dataset sizes, and runtimes with additional descriptive properties of a dataflow job. It is thereby able to capture the context of a job execution. Moreover, Bellamy is realizing a two-step modeling approach. First, a general model is trained on all the available data for a specific scalable analytics algorithm, hereby incorporating data from different contexts. Subsequently, the general model is optimized for the specific situation at hand, based on the available data for the concrete context. We evaluate our approach on two publicly available datasets consisting of execution data from various dataflow jobs carried out in different environments, showing that Bellamy outperforms state-of-the-art methods.

研究动机与目标

• 该论文旨在解决分布式数据流系统中性能建模面临的有限历史数据挑战。
• 旨在通过重用相关但不同的执行上下文中的数据，提升运行时预测的准确性。
• 目标是减少对每个上下文进行昂贵性能分析或大量历史数据的依赖。
• 旨在支持云环境中用户在缺乏专业知识或时间进行手动调优时的高效资源配置。
• 目标是为多样化用户和动态云工作负载提供可扩展、准确且快速的预测能力。

提出的方法

• Bellamy 采用两步建模方法：首先在多上下文数据上训练一个通用模型，然后针对特定上下文进行微调。
• 将扩展规模、数据集大小以及额外的描述性作业和资源属性作为输入特征。
• 模型实现为带有任务特定组件的神经网络，以支持上下文感知的预测。
• 微调通过结合预训练权重和上下文特定数据完成，包含本地微调、部分解冻和完全重置等变体策略。
• 该方法利用迁移学习原理，以最少的数据将通用模型适配到新上下文。
• 使用早停策略和平均绝对误差（MAE）等评估指标来衡量和优化预测性能。

实验结果

研究问题

• RQ1 在仅有限数据的情况下，能否在多样执行上下文上训练的性能模型有效泛化到新的特定上下文？
• RQ2 与仅使用扩展规模和数据集大小的模型相比，引入描述性作业和资源属性是否能提升运行时预测的准确性？
• RQ3 Bellamy 的跨上下文学习能力在预测准确性和训练效率方面与最先进方法相比如何？
• RQ4 不同微调策略（如本地、完全重置）对模型性能和训练时间有何影响？
• RQ5 当数据稀缺时，Bellamy 是否能有效预测具有非平凡扩展行为的算法的运行时间，尤其是像 PageRank 这类算法？

主要发现

• Bellamy 在运行时预测方面优于最先进方法，尤其在具有非平凡扩展行为的算法（如 PageRank）上表现突出。
• Bellamy 的本地变体在所有评估算法（Grep、PageRank、SGD）中实现了最佳平均预测性能。
• 基于预训练权重的模型将平均训练时间从 9.4 秒（本地变体）降低至 2.8 至 3.8 秒，显著加快了训练过程。
• 预训练的 Bellamy 模型收敛更快，且更早终止微调，证明了训练效率的提升。
• 该方法实现了上下文间的有效插值，重用模型在不同环境间带来了显著的性能提升。
• 对于具有平凡扩展行为的算法（如线性），Bellamy 并未始终优于更简单的基线模型，表明其优势在复杂扩展模式下最为明显。