[論文レビュー] Online Learning for Offloading and Autoscaling in Renewable-Powered Mobile Edge Computing

Jie Xu, Shaolei Ren|arXiv (Cornell University)|Sep 16, 2016

IoT and Edge/Fog Computing参考文献 11被引用数 8

ひとこと要約

本稿では、再生可能エネルギー駆動のモバイルエッジコンピューティングシステムにおける共同ワークロードオフロードおよびエッジサーバーの自己スケーリングを目的とした、ポスト意思決定状態（PDS）に基づくオンライン強化学習アルゴリズムを提案する。価値反復の分解と問題構造の活用により、収束が速く、長期的なシステムコストが低減され、ベンチマークと比較して25%以上のコスト削減を達成する。また、不確実な再生可能エネルギーとワークロードの変動に動的に適応する。

ABSTRACT

Mobile edge computing (a.k.a. fog computing) has recently emerged to enable \emph{in-situ} processing of delay-sensitive applications at the edge of mobile networks. Providing grid power supply in support of mobile edge computing, however, is costly and even infeasible (in certain rugged or under-developed areas), thus mandating on-site renewable energy as a major or even sole power supply in increasingly many scenarios. Nonetheless, the high intermittency and unpredictability of renewable energy make it very challenging to deliver a high quality of service to users in renewable-powered mobile edge computing systems. In this paper, we address the challenge of incorporating renewables into mobile edge computing and propose an efficient reinforcement learning-based resource management algorithm, which learns on-the-fly the optimal policy of dynamic workload offloading (to centralized cloud) and edge server provisioning to minimize the long-term system cost (including both service delay and operational cost). Our online learning algorithm uses a decomposition of the (offline) value iteration and (online) reinforcement learning, thus achieving a significant improvement of learning rate and run-time performance when compared to standard reinforcement learning algorithms such as Q-learning.

研究の動機と目的

• モバイルエッジコンピューティングシステムにおける極めて断続的かつ予測困難な再生可能エネルギーの管理という課題に対処する。
• 不確実なエネルギー供給とワークロード状態下で、サービス遅延と運用コストを含む長期的システムコストを最小化する。
• 共同でワークロードオフロードとエッジサーバーのプロビジョニングを最適化するリアルタイムで適応可能なリソース管理ポリシーを設計する。
• 大規模な状態空間における標準的な強化学習（例：Q学習）の収束が遅く、計算コストが高くなるという問題を克服する。
• システムダイナミクスや統計的分布の事前知識がなくても、オンライン学習によって最適ポリシーを学習可能にする。

提案手法

• ワークロード、ネットワーク混雑度、バッテリー残量、グリーンエネルギーの可用性を状態に含むマルコフ決定過程（MDP）として、共同オフロードとスケーリング問題を定式化する。
• 再生可能エネルギーとシステム状態の確率的実現から意思決定プロセスを分離するポスト意思決定状態（PDS）フレームワークを導入する。
• 問題の特異な構造を活用し、状態空間の複雑さを低減することで、価値関数の近似を高速化するPDSベースの手法を用いる。
• 収束が最適ポリシーに保証される学習率条件を満たすオンライン時系列差分学習を適用する。
• サービス遅延と運用コストを組み合わせた報酬関数を採用し、実世界のトレードオフを反映するようにパラメータを調整する。
• 事前学習やシステムモデルの事前知識が不要な、システムフィードバックから即座に学習する動的ポリシー更新メカニズムを実装する。

実験結果

リサーチクエスチョン

• RQ1 不確実な再生可能エネルギー供給下で、リアルタイムに最適なオフロードおよびスケーリングポリシーを効率的に学習できる強化学習アルゴリズムはどのように設計できるか？
• RQ2 PDSを用いた問題構造の活用は、大規模MDPにおける標準的Q学習と比較して、学習速度と性能をどの程度向上させるか？
• RQ3 本稿で提案するアルゴリズムは、固定電力ポリシーと短絡的最適化ポリシーと比較して、長期的コストと適応性の面でどの程度優れているか？
• RQ4 エネルギー供給とワークロードの時間的相関性がシステムコストに与える影響は何か？また、アルゴリズムはこの相関性を十分に捉え、長期最適化に活かせているか？
• RQ5 動的条件下で、高いエネルギー収集効率を達成し、無駄な電力使用やサーバーの不足を回避できるか？

主な発見

• PDSベースの学習アルゴリズムは、1000時間目時点で2番目に優れたベンチマークと比較して、長期的システムコストを25%以上削減した。
• 価値反復プロセスの構造的分解により、Q学習よりも収束が速く、実行時パフォーマンスが優れている。
• 学習されたポリシーは非常に適応的である：バッテリー残量が低い場合や将来にワークロードが増加すると予想される場合には、エネルギーを将来の高需要期に備えて節約する。
• 短絡的最適化は、時間的相関を無視するため、早期に電力を消費し、結果として長期的コストが高くなる。
• 固定電力ポリシーはパrameter設定に極めて敏感であり、不適切な設定は無駄なエネルギー消費（高いバッテリー状態）や十分な能力の欠如（低いバッテリー状態）を引き起こす。
• PDSベースのアルゴリズムは最高のエネルギー収集効率を達成し、バッテリー状態の分布から、時間経過にわたる最適なリソース利用が図られていることが示された。