[論文レビュー] A Comparison of Reinforcement Learning Techniques for Fuzzy Cloud Auto-Scaling

Hamid Arabnejad, Claus Pahl+2 more|arXiv (Cornell University)|May 19, 2017

Cloud Computing and Resource Management参考文献 21被引用数 6

ひとこと要約

本稿では、OpenStackにおける仮想マシンの動的割り当てを最適化するために、2つの強化学習手法—Fuzzy SARSA（オンポリシー）およびFuzzy Q-Learning（オフポリシー）—を用いた自己適応型ファジィオートスケーラーを提案する。両手法とも、リソース使用の最適化によりSLA準拠性を向上させるとともにコスト削減を実現する。特にFSLは、FIFAワールドカップのトラフィックのような非周期的かつバースト型ワークロードにおいて、より速い収束を示し、優れたパフォーマンスを発揮する。

ABSTRACT

A goal of cloud service management is to design self-adaptable auto-scaler to react to workload fluctuations and changing the resources assigned. The key problem is how and when to add/remove resources in order to meet agreed service-level agreements. Reducing application cost and guaranteeing service-level agreements (SLAs) are two critical factors of dynamic controller design. In this paper, we compare two dynamic learning strategies based on a fuzzy logic system, which learns and modifies fuzzy scaling rules at runtime. A self-adaptive fuzzy logic controller is combined with two reinforcement learning (RL) approaches: (i) Fuzzy SARSA learning (FSL) and (ii) Fuzzy Q-learning (FQL). As an off-policy approach, Q-learning learns independent of the policy currently followed, whereas SARSA as an on-policy always incorporates the actual agent's behavior and leads to faster learning. Both approaches are implemented and compared in their advantages and disadvantages, here in the OpenStack cloud platform. We demonstrate that both auto-scaling approaches can handle various load traffic situations, sudden and periodic, and delivering resources on demand while reducing operating costs and preventing SLA violations. The experimental results demonstrate that FSL and FQL have acceptable performance in terms of adjusted number of virtual machine targeted to optimize SLA compliance and response time.

研究の動機と目的

• 従来のオートスケーリングにおけるしきい値の手動設定の課題を解決し、学習に基づく適応的で動的制御可能なコントローラーに置き換える。
• ファジィ論理に基づくオートスケーリングフレームワークにおいて、オンポリシー（SARSA）とオフポリシー（Q-Learning）の強化学習の有効性を評価する。
• 提案手法であるFuzzy RLアプローチを、多様なワークロードパターン下で実世界のIaaSプラットフォーム—OpenStack—に実装・検証する。
• 周期的、バースト型、実世界のワークロードの下で、FSLとFQLのSLA準拠性、応答時間、リソース使用率という観点からのパフォーマンスを比較する。
• サービス品質を維持しつつ、VM使用量を削減することでコスト効率の良いオートスケーリングを実証する。

提案手法

• ファジィ論理コントローラーを用いて、システムの状態を「低」「中」「高」などの言語的ラベルに抽象化することで、状態空間の複雑さを低減する。
• 2つの強化学習アルゴリズム—Fuzzy SARSA（オンポリシー）およびFuzzy Q-Learning（オフポリシー）—を統合し、実行時におけるファジィスケーリングルールの動的学習と更新を実現する。
• RLエージェントは、SLA準拠性と応答時間に基づく報酬から学習し、Q-Learningは最適な次の行動を探索し、SARSAは実際の次の行動に基づいて学習する。
• MAPE-K制御ループ（監視、分析、計画、実行）を用いてOpenStackに実装し、ファジィルールとQ値を格納する知識ベースを構築する。
• ワークロードパターンには、合成された周期的、急激な変動、オンオフ型ワークロードに加え、WikipediaおよびFIFAワールドカップのウェブサイトログからの実世界トレースを含む。
• 平均最大VM使用率、応答時間、SLA違反率、収束速度といった指標を用いて、パフォーマンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 さまざまなワークロードパターン下で、Fuzzy SARSAとFuzzy Q-Learningの収束速度および解の質はどのように比較されるか？
• RQ2 初期のファジィルールの品質（専門家知識 vs. 非専門家知識）が、オートスケーリングシステムのパフォーマンスに与える影響は何か？
• RQ3 FIFAワールドカップのアクセスログのような実世界の予測不能なワークロード下で、2つのRLベースのオートスケーラーはどのように性能を発揮するか？
• RQ4 提案されたファジィRLアプローチは、SLA準拠性と低応答時間を維持しつつ、VM使用量をどの程度削減できるか？
• RQ5 どのワークロード環境下でオンポリシーのFSLがオフポリシーのFQLを上回り、逆にFQLがFSLを上回るのか？

主な発見

• Fuzzy SARSA（FSL）は、非周期的かつ急激に変動するワークロード下で、Fuzzy Q-Learning（FQL）よりも速い学習収束を達成した。
• Wikipediaワークロードでは、FSLがFQLに対してわずかに優れたパフォーマンスを示し、安定状態下での応答時間の改善とSLA準拠性の向上を確認した。
• バースト型のFIFAワールドカップワークロード下では、FSLが応答時間でFQLを上回った。これは、FQLがオフポリシー特性のため、長期間にわたり探索モードに留まりがちだったためである。
• 全ワークロードにわたる平均最大VM使用率は、FQLが18.3%、FSLが22.6%であった。FQLはリソース効率が優れていたが、FSLは一部のケースで同程度のSLA準拠性を達成しながらより少ないVM数で運用できた。
• 専門家が初期設定したファジィルールを用いることで、劣化したルールよりも顕著に解の品質が向上した。これは、RLベースのオートスケーリングにおける初期化の重要性を示している。
• FSLおよびFQLの両方とも、アイドルVMの削減とSLA違反の防止により、多様なワークロードパターン下でインfraストラクチャコストを効果的に削減した。