[論文レビュー] Elastic Resource Management with Adaptive State Space Partitioning of Markov Decision Processes

Konstantinos Lolos, Ioannis Konstantinou+2 more|arXiv (Cornell University)|Feb 9, 2017

Cloud Computing and Resource Management参考文献 16被引用数 4

ひとこと要約

本論文では、Mann-Whitney U検定やパラメータベースの検定といった新しい統計的基準と分割戦略を用いて、MDPの状態空間を動的に分割する強化学習アルゴリズム、MDP_DTを提案する。この手法により、大規模なコンピューティング環境における効率的かつ高精度な弾性リソース管理が可能になる。本手法は、システムの挙動に基づいて状態の粒度を動的に最適化するため、静的およびモデルフリーな手法を上回り、最小限の学習データで高い性能を達成でき、未観測のワークロードに対しても優れた性能を示す。

ABSTRACT

Modern large-scale computing deployments consist of complex applications running over machine clusters. An important issue in these is the offering of elasticity, i.e., the dynamic allocation of resources to applications to meet fluctuating workload demands. Threshold based approaches are typically employed, yet they are difficult to configure and optimize. Approaches based on reinforcement learning have been proposed, but they require a large number of states in order to model complex application behavior. Methods that adaptively partition the state space have been proposed, but their partitioning criteria and strategies are sub-optimal. In this work we present MDP_DT, a novel full-model based reinforcement learning algorithm for elastic resource management that employs adaptive state space partitioning. We propose two novel statistical criteria and three strategies and we experimentally prove that they correctly decide both where and when to partition, outperforming existing approaches. We experimentally evaluate MDP_DT in a real large scale cluster over variable not-encountered workloads and we show that it takes more informed decisions compared to static and model-free approaches, while requiring a minimal amount of training data.

研究の動機と目的

• 高次元で連続的な状態空間を有する大規模かつ動的なコンピューティング環境における弾性リソース管理の課題に対処すること。
• 設定の自由度、スケーラビリティ、データ効率性に欠ける、しきい値ベースおよび静的モデルベースのRL手法の限界を克服すること。
• システムの挙動に基づいて状態空間を適応的に分割するフルモデル強化学習アルゴリズムを開発し、意思決定の正確性と学習効率を向上させること。
• 大規模クラスタ上で複雑でかつ未観測のワークロードを含む実世界のシナリオにおいて、本手法の評価を行うこと。

提案手法

• アルゴリズムは、1つのグローバル状態から出発し、必要に応じて細分化する意思決定木に基づく構造を用いて、状態空間を動的に分割する。
• 連続的状態空間の最適な分割点を特定するための2つの新しい統計的基準（Mann-Whitney U検定およびパラメータベースの検定）を導入する。
• 3つの分割戦略を提案する：メジアンのみを用いた分割、各パラメータごとに複数の分割点を設ける戦略、および耐障害性を高めるための遅延または周期的なリセット戦略。
• フルMDPモデルを維持し、優先順位付きスイーピングや価値反復を活用して効率的なQ値の更新を実現することで、計算コストを低減する。
• 分割後に再訓練を行う際、以前に収集した経験を再利用することで、学習効率を保ち、深刻な忘却を回避する。
• 初期段階では最小限の事前知識で開始されるが、利用可能な場合（例：データベーススケーリングにおけるクラスタサイズと負荷）、少量の初期状態を提供することで顕著な性能向上が得られる。

実験結果

リサーチクエスチョン

• RQ1 複雑で未観測のワークロード下でも、適応的状態空間分割が弾性リソース管理における意思決定の正確性を向上させ得るか？
• RQ2 連続的状態空間において意味のある状態境界を特定するにあたり、Mann-Whitney U検定などの異なる統計的基準は、どのように比較されるか？
• RQ3 メジアンのみ vs. 複数の分割点といった、異なる分割戦略は、性能と計算コストのバランスにおいて、それぞれどのように比較されるか？
• RQ4 静的およびモデルフリーなベースラインと比較して、訓練データの要件をどれほど削減しつつ、性能を維持または向上させられるか？
• RQ5 実際のクラスタ環境における展開において、適応的分割を施したフルMDPモデルは、モデルフリーRLと比較してどの程度優れているか？

主な発見

• Mann-Whitney U検定とパラメータベースの分割基準の組み合わせが、シミュレーションおよび実験の両方で最良の性能を発揮した。
• メジアンのみを用いた分割が、複数の分割点を設ける戦略よりも正確性と効率性に優れ、より小型で効果的な意思決定木を生成した。
• 細分化と再訓練のメカニズムにより、先行手法を上回りつつ、計算コストも効率的であった。
• 意思決定木ベースのモデルは、静的モデルと比較してはるかに少ない状態数で優れた性能を達成し、計算コストを削減した。
• アルゴリズムの実行時間は、優先順位付きスイーピングなどの更新アルゴリズムに左右され、その結果、より小さな状態空間であるほど高速に動作した。
• 最小限の初期知識での運用でも良好な性能を示したが、クラスタサイズや負荷といった少量の初期状態が提供された場合、性能は著しく向上した。これは、ドメイン知識を組み込むことの実用的価値を示唆している。