[论文解读] Elastic Resource Management with Adaptive State Space Partitioning of Markov Decision Processes

Konstantinos Lolos, Ioannis Konstantinou+2 more|arXiv (Cornell University)|Feb 9, 2017

Cloud Computing and Resource Management参考文献 16被引用 4

一句话总结

该论文提出 MDP_DT，一种强化学习算法，通过新颖的统计标准和分割策略自适应地对马尔可夫决策过程的状态空间进行划分，从而在大规模计算环境中实现高效、精确的弹性资源管理。该方法通过根据系统行为动态调整状态粒度，优于静态和无模型方法，仅需极少的训练数据，即使在未见过的工作负载上也能实现高性能。

ABSTRACT

Modern large-scale computing deployments consist of complex applications running over machine clusters. An important issue in these is the offering of elasticity, i.e., the dynamic allocation of resources to applications to meet fluctuating workload demands. Threshold based approaches are typically employed, yet they are difficult to configure and optimize. Approaches based on reinforcement learning have been proposed, but they require a large number of states in order to model complex application behavior. Methods that adaptively partition the state space have been proposed, but their partitioning criteria and strategies are sub-optimal. In this work we present MDP_DT, a novel full-model based reinforcement learning algorithm for elastic resource management that employs adaptive state space partitioning. We propose two novel statistical criteria and three strategies and we experimentally prove that they correctly decide both where and when to partition, outperforming existing approaches. We experimentally evaluate MDP_DT in a real large scale cluster over variable not-encountered workloads and we show that it takes more informed decisions compared to static and model-free approaches, while requiring a minimal amount of training data.

研究动机与目标

• 解决在具有高维连续状态空间的大规模动态计算环境中弹性资源管理的挑战。
• 克服基于阈值和静态模型的强化学习方法在可配置性、可扩展性和数据效率方面的局限性。
• 开发一种全模型强化学习算法，根据系统行为自适应地划分状态空间，提升决策准确性和训练效率。
• 在涉及大规模集群上复杂且此前未见的工作负载的真实场景中评估该方法。

提出的方法

• 该算法采用基于决策树的结构，动态划分状态空间，从单个全局状态开始，并根据需要进行细化。
• 引入两种新颖的统计标准——Mann-Whitney U 检验和基于参数的检验，以确定连续状态维度中的最优分割点。
• 提出三种分割策略：仅使用中位数的分割、每个参数的多个分割点，以及用于鲁棒性的延迟或周期性重置策略。
• 该方法维护一个完整的 MDP 模型，并利用优先级传播或值迭代进行高效的 Q 值更新，从而降低计算开销。
• 在分割后重新训练时重用先前收集的经验，保持学习效率并避免灾难性遗忘。
• 系统以极少的先验知识初始化，但当有少量初始状态（如数据库扩展中的集群规模和负载）时，性能可显著提升。

实验结果

研究问题

• RQ1 自适应状态空间划分是否能在复杂且未见过的工作负载下提升弹性资源管理的决策准确性？
• RQ2 不同统计分割标准（如 Mann-Whitney U 检验）在连续状态空间中识别有意义状态边界的性能如何比较？
• RQ3 不同分割策略（如仅使用中位数 vs. 多个分割点）在性能与计算成本之间能否实现最佳平衡？
• RQ4 该算法在保持或提升静态和无模型基线性能的同时，能在多大程度上减少训练数据需求？
• RQ5 在真实集群部署中，使用自适应划分的全 MDP 模型与无模型强化学习相比表现如何？

主要发现

• Mann-Whitney U 检验与基于参数的分割标准相结合，在模拟和真实实验中均取得了最佳性能。
• 每个参数仅使用中位数的分割策略在准确性和效率方面优于多个分割点，生成了更小但更有效的决策树。
• 细粒度的分割与重训练机制优于先前方法，同时保持了计算效率。
• 基于决策树的模型在远少于静态模型的状态数下实现了更优性能，显著降低了计算成本。
• 该算法的运行时间主要由更新算法（如优先级传播）决定，因此更小的状态空间使其比完整静态模型更快。
• 即使初始知识极少，算法表现依然良好；但当提供少量初始状态（如集群规模和负载）时，性能显著提升，表明引入领域知识具有实际价值。