[論文レビュー] Reinforcement Learning Based Orchestration for Elastic Services

Mauricio Fadel Argerich, Bin Cheng+1 more|arXiv (Cornell University)|Apr 26, 2019

IoT and Edge/Fog Computing参考文献 9被引用数 4

ひとこと要約

本論文は、変動する実行環境に応じて動的にサービス動作を適応させるエッジコンピューティング環境におけるエラスティックサービスの強化学習（RL）ベースのオ케ストレーションフレームワークを提案する。試行錯誤による相互作用を通じて最適な設定ポリシーを学習することで、ヒューリスティックベースの手法と比較して10–25%高い精度と25%低い計算オーバーヘッドを達成し、サービス自体の実行時オーバーヘッドは0.5%未満に抑えられた。

ABSTRACT

Due to the highly variable execution context in which edge services run, adapting their behavior to the execution context is crucial to comply with their requirements. However, adapting service behavior is a challenging task because it is hard to anticipate the execution contexts in which it will be deployed, as well as assessing the impact that each behavior change will produce. In order to provide this adaptation efficiently, we propose a Reinforcement Learning (RL) based Orchestration for Elastic Services. We implement and evaluate this approach by adapting an elastic service in different simulated execution contexts and comparing its performance to a Heuristics based approach. We show that elastic services achieve high precision and requirement satisfaction rates while creating an overhead of less than 0.5% to the overall service. In particular, the RL approach proves to be more efficient than its rule-based counterpart; yielding a 10 to 25% higher precision while being 25% less computationally expensive.

研究の動機と目的

• 不確実なワークロードを伴う異種かつリソース制限のあるエッジ環境において、サービス動作を動的に適応させる課題に対処すること。
• 多様な実行環境に一般化できない可能性のある事前定義されたヒューリスティクスに依存することを軽減すること。
• 経験を通じて最適な設定を学習する自己適応型サービスオーケストレーションを可能にし、精度とレイテンシ満足度の両方を向上させること。
• シミュレーテッドエッジシナリオにおいて、RLベースのオーケストレーションとヒューリスティックベースのアプローチの性能を評価すること。
• RLベースのオーケストレーションが最小限の実行時オーバーヘッドで高い要件満足度を達成できることを示すこと。

提案手法

• 本手法は、サービス適応をマルコフ決定過程（MDP）としてモデル化し、状態をシステムおよびワークロードの状態、行動を設定パラメータの変更、報酬を精度とレイテンシ満足度の関数として定義する。
• 観測された状態に基づき累積報酬を最大化する行動を選択するように、エージェントを学習させるためにテーブル型Q学習アルゴリズムを用いる。
• 状態空間にはCPU利用可能率、1フレームあたりの顔の数、ネットワーク状態が含まれる。行動には画像解像度の調整、前処理手順の変更、モデル推論設定の変更が含まれる。
• 報酬関数は、高い精度（正確な検出）と低いレイテンシ（SLOの満たし）をバランスさせ、エンドツーエンド応答時間制約の違反に対してペナルティを課す。
• 実世界の動画分析ワークロード（Lost Child Applicationを含む）を用いたシミュレーション環境で、システムを評価する。負荷およびハードウェア条件を変化させた条件下で評価が行われた。
• 設定変更に固定ルールを用いるヒューリスティックベースのオーケストレーション戦略と性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、動的かつ変動しやすいエッジ環境におけるエラスティックサービスの最適な設定ポリシーを効果的に学習できるか？
• RQ2 精度およびレイテンシ満足度の観点から、RLベースのオーケストレーションはヒューリスティックベースのアプローチと比べてどのように異なるか？
• RQ3 RLベースのオーケストレーションメカニズムの実行時オーバーヘッドは、全体のサービス実行に比べてどの程度か？
• RQ4 CPU利用可能率の急激な変化（例：リソース低下）に対して、RLエージェントはどの程度の速さで適応できるか？
• RQ5 手動による再設定なしに、多様なワークロードおよびハードウェア構成に一般化できるか？

主な発見

• RLベースのオーケストレーションは、ランダム、1日分、変動する負荷パターンを含むすべてのテストワークロードで、ヒューリスティックベースの手法と比較して10–25%高い精度を達成した。
• 高負荷下でも、RLアプローチは94.72%のレイテンシ満足率を維持したのに対し、ヒューリスティック手法は79.06%であった。
• Intel Core i5ではRLベースのシステムが0.30%の計算オーバーヘッドに抑えられ、Raspberry Pi 3 B+でも同様に0.30%であった。ヒューリスティック手法は0.42%であった。
• ステップ485でCPU利用可能率が低下した際、RLエージェントは30ステップ以内に適応し、精度はわずかに低下したがレイテンシ準拠を維持した。
• ステップ515でCPU利用可能率が回復した際、システムは再び高精度設定に切り替わり、迅速かつ効果的な適応を示した。
• RLベースのアプローチは、ヒューリスティック手法と比較して25%少ない実行時間を要し、計算効率の向上が示された。