[论文解读] A Comparison of Reinforcement Learning Techniques for Fuzzy Cloud Auto-Scaling

Hamid Arabnejad, Claus Pahl+2 more|arXiv (Cornell University)|May 19, 2017

Cloud Computing and Resource Management参考文献 21被引用 6

一句话总结

本论文提出了一种基于两种强化学习技术——模糊SARSA（在线策略）和模糊Q-Learning（离线策略）的自适应模糊自动扩展器，用于云工作负载的动态虚拟机资源分配。两种方法通过优化资源使用，均提升了SLA合规性并降低了成本，其中FSL在非周期性、突发性工作负载（如FIFA世界杯流量）下表现出更快的收敛速度和更优性能。

ABSTRACT

A goal of cloud service management is to design self-adaptable auto-scaler to react to workload fluctuations and changing the resources assigned. The key problem is how and when to add/remove resources in order to meet agreed service-level agreements. Reducing application cost and guaranteeing service-level agreements (SLAs) are two critical factors of dynamic controller design. In this paper, we compare two dynamic learning strategies based on a fuzzy logic system, which learns and modifies fuzzy scaling rules at runtime. A self-adaptive fuzzy logic controller is combined with two reinforcement learning (RL) approaches: (i) Fuzzy SARSA learning (FSL) and (ii) Fuzzy Q-learning (FQL). As an off-policy approach, Q-learning learns independent of the policy currently followed, whereas SARSA as an on-policy always incorporates the actual agent's behavior and leads to faster learning. Both approaches are implemented and compared in their advantages and disadvantages, here in the OpenStack cloud platform. We demonstrate that both auto-scaling approaches can handle various load traffic situations, sudden and periodic, and delivering resources on demand while reducing operating costs and preventing SLA violations. The experimental results demonstrate that FSL and FQL have acceptable performance in terms of adjusted number of virtual machine targeted to optimize SLA compliance and response time.

研究动机与目标

• 为解决传统自动扩展中手动设置阈值的挑战，提出以自适应、基于学习的控制器替代阈值设定。
• 评估基于模糊逻辑的自动扩展框架中，在线策略（SARSA）与离线策略（Q-Learning）强化学习的有效性。
• 在真实IaaS平台——OpenStack中实现并验证所提出的模糊强化学习方法，覆盖多种工作负载模式。
• 从SLA合规性、响应时间与资源利用率等方面，比较FSL与FQL在周期性、突发性及真实工作负载下的性能表现。
• 通过减少虚拟机使用量，在维持服务质量的前提下，展示成本效益更高的自动扩展机制。

提出的方法

• 采用模糊逻辑控制器将系统状态抽象为语言标签（如“低”、“中”、“高”负载），以降低状态空间复杂度。
• 集成两种强化学习算法——模糊SARSA（在线策略）与模糊Q-Learning（离线策略），以在运行时动态学习并更新模糊扩展规则。
• RL智能体根据SLA合规性与响应时间获得奖励，其中Q-Learning通过探索最优下一步动作，SARSA则基于实际执行的下一步动作进行学习。
• 系统在OpenStack中实现，采用MAPE-K控制环路（监控、分析、规划、执行），知识库中存储模糊规则与Q值。
• 工作负载模式包括合成的周期性、突发性及ON/OFF工作负载，以及来自Wikipedia和FIFA世界杯网站日志的真实世界数据。
• 通过平均最大虚拟机使用率、响应时间、SLA违规率与收敛速度等指标评估性能。

实验结果

研究问题

• RQ1 在不同工作负载模式下，Fuzzy SARSA与Fuzzy Q-Learning在收敛速度与解质量方面有何差异？
• RQ2 初始模糊规则质量（专家知识 vs. 非专家知识）对自动扩展系统性能有何影响？
• RQ3 在真实世界不可预测的工作负载（如FIFA世界杯访问日志）下，两种基于强化学习的自动扩展器表现如何？
• RQ4 所提出的模糊强化学习方法在多大程度上可减少虚拟机使用量，同时保持SLA合规性与低响应时间？
• RQ5 在何种工作负载场景下，基于在线策略的FSL优于基于离线策略的FQL，反之亦然？

主要发现

• 模糊SARSA（FSL）在非周期性与高度波动的工作负载下，收敛速度明显快于模糊Q-Learning（FQL）。
• 在Wikipedia工作负载下，FSL性能略优于FQL，表明在稳定状态下响应时间更短、SLA合规性更高。
• 在突发性的FIFA世界杯工作负载下，FSL在响应时间方面优于FQL，因FQL受其离线策略特性影响，探索时间更长。
• 所有工作负载下，FQL的平均最大虚拟机使用率为18.3%，FSL为22.6%，表明FQL在资源效率方面更优；但FSL在某些情况下以更少的虚拟机实现了相近的SLA合规性。
• 使用专家初始模糊规则显著提升了解的质量，相比次优规则，凸显了初始化在基于强化学习的自动扩展中的重要性。
• FSL与FQL均成功通过减少空闲虚拟机数量并防止SLA违规，在多样化工作负载模式下降低了基础设施成本。