[论文解读] Auto-tuning Distributed Stream Processing Systems using Reinforcement Learning

Luis M. Vaquero, Félix Cuadrado|arXiv (Cornell University)|Sep 14, 2018

Data Stream Mining Techniques参考文献 40被引用 14

一句话总结

本文提出了一种基于强化学习（RL）的自动调优系统，用于分布式流处理工作负载，通过监督学习与强化学习技术自动选择最优配置参数（例如，内存、批处理大小）。该系统在数十分钟内实现比人工调优配置低60–70%的延迟，通过从历史工作负载中学习并以最少的人工干预适应动态变化。

ABSTRACT

Fine tuning distributed systems is considered to be a craftsmanship, relying on intuition and experience. This becomes even more challenging when the systems need to react in near real time, as streaming engines have to do to maintain pre-agreed service quality metrics. In this article, we present an automated approach that builds on a combination of supervised and reinforcement learning methods to recommend the most appropriate lever configurations based on previous load. With this, streaming engines can be automatically tuned without requiring a human to determine the right way and proper time to deploy them. This opens the door to new configurations that are not being applied today since the complexity of managing these systems has surpassed the abilities of human experts. We show how reinforcement learning systems can find substantially better configurations in less time than their human counterparts and adapt to changing workloads.

研究动机与目标

• 为解决手动调优复杂分布式流处理系统所面临的挑战，此类调优因配置空间庞大且工作负载动态变化而耗时且易出错。
• 自动化选择流处理引擎（如Spark Streaming）的最优配置参数（例如，内存、批处理大小），以满足严格的服务水平目标（SLO）。
• 通过以数据驱动、自适应的方式学习工作负载模式和性能指标，减少对专家知识的依赖，替代人工调优。
• 实现实时适应工作负载变化，并在无需重启集群或人工重新配置的情况下维持低延迟。
• 证明强化学习能够有效探索高维配置空间，并比人类专家更快发现更优配置。

提出的方法

• 从数万个在多样化合成与真实世界工作负载下运行的Spark Streaming集群中收集训练数据，包括泊松分布事件到达和梯形负载模式。
• 使用监督学习识别最相关的性能指标（例如，处理延迟）及其与配置参数的相关性。
• 应用特征选择与指标-参数关联技术，降低维度并聚焦于高影响的配置参数。
• 将连续的配置参数（例如，内存大小、批处理间隔）离散化为有限组可操作的取值，作为强化学习的输入。
• 采用强化学习智能体，通过超参数f平衡探索与利用，基于观测到的性能推荐配置变更。
• 使用高斯过程模型（GPMs）作为代理模型，估算预期性能并指导强化学习策略，同时使用价值网络估算长期回报。

实验结果

研究问题

• RQ1 强化学习能否有效探索分布式流处理系统的高维配置空间，以找到优于人工配置的方案？
• RQ2 与人类专家的手动调优相比，基于强化学习的系统在多快时间内能收敛到更优配置？
• RQ3 该系统在保持低处理延迟的前提下，对工作负载变化的适应能力如何？
• RQ4 在流工作负载中，哪些性能指标和配置参数最能预测延迟SLO的合规性？
• RQ5 该系统能否减少配置变更期间的集群重启需求？是否存在可最小化停机时间的替代方案？

主要发现

• 基于强化学习的自动调优系统实现的处理延迟比人工工程师选择的配置低60–70%，显著提升了SLO合规性。
• 系统在数十分钟内即收敛至最优配置，与手动方法相比，调优所需时间大幅缩短。
• 系统成功识别并调整了如驱动内存和批处理大小等高影响力参数，在早期训练阶段即带来显著性能提升。
• 通过聚焦于相关指标和参数，该方法有效降低了配置空间的维度，使强化学习在高维场景下成为可能。
• 系统在面对工作负载变化时表现出强适应能力，无需人工重新配置即可维持低延迟。
• 使用高斯过程模型和价值网络使学习过程在配置空间复杂的情况下仍保持稳定与可扩展。