[論文レビュー] Lyapunov-guided Deep Reinforcement Learning for Stable Online Computation Offloading in Mobile-Edge Computing Networks

Suzhi Bi, Liang Huang+2 more|arXiv (Cornell University)|Oct 3, 2020

IoT and Edge/Fog Computing参考文献 30被引用数 5

ひとこと要約

本稿では、変動する無線状態と確率的なタスク到着を伴う動的モバイルエッジコンピューティングネットワークにおいて、オンライン計算オフロードとリソース割り当てを共同最適化する新規なリャプノフ指導致動型深層強化学習フレームワークであるLyDROOを提案する。長期間の制約を分離するためのリャプノフ最適化と、リアルタイム意思決定のための深層強化学習を組み合わせることで、LyDROOは計算性能を最適化するとともに、データキューと電力制約の安定性を確保し、高速フェージング環境に適した低計算コストを実現する。

ABSTRACT

Opportunistic computation offloading is an effective method to improve the computation performance of mobile-edge computing (MEC) networks under dynamic edge environment. In this paper, we consider a multi-user MEC network with time-varying wireless channels and stochastic user task data arrivals in sequential time frames. In particular, we aim to design an online computation offloading algorithm to maximize the network data processing capability subject to the long-term data queue stability and average power constraints. The online algorithm is practical in the sense that the decisions for each time frame are made without the assumption of knowing future channel conditions and data arrivals. We formulate the problem as a multi-stage stochastic mixed integer non-linear programming (MINLP) problem that jointly determines the binary offloading (each user computes the task either locally or at the edge server) and system resource allocation decisions in sequential time frames. To address the coupling in the decisions of different time frames, we propose a novel framework, named LyDROO, that combines the advantages of Lyapunov optimization and deep reinforcement learning (DRL). Specifically, LyDROO first applies Lyapunov optimization to decouple the multi-stage stochastic MINLP into deterministic per-frame MINLP subproblems. By doing so, it guarantees to satisfy all the long-term constraints by solving the per-frame subproblems that are much smaller in size. Then, LyDROO integrates model-based optimization and model-free DRL to solve the per-frame MINLP problems with low computational complexity. Simulation results show that under various network setups, the proposed LyDROO achieves optimal computation performance while stabilizing all queues in the system. Besides, it induces very low execution latency that is particularly suitable for real-time implementation in fast fading environments.

研究の動機と目的

• 変動するチャネル状態と確率的タスク到着の下で、マルチユーザーのモバイルエッジコンピューティングネットワークにおけるオンライン計算オフロードアルゴリズムを設計すること。
• 長期間にわたるデータキューの安定性と平均電力制約を満たしながら、ネットワークのデータ処理能力を最大化すること。
• 将来のシステム状態が未知である高速フェージングで変動する環境において、リアルタイム実装に適した計算複雑度を低減すること。
• リャプノフ最適化と深層強化学習を統合し、制約満たしと性能最適化のバランスをとること。
• 将来のチャネル状態やタスク到着の知識が不要な低遅延かつスケーラブルな意思決定を可能にすること。

提案手法

• バイナリのオフロードとリソース割り当て意思決定を含む、マルチステージ確率的混合整数非線形計画問題（MINLP）として問題を定式化する。
• リャプノフ最適化を用いて、長期間のMINLPを各フレームごとの決定的サブ問題に分離し、仮想キューを用いて制約の満たしを保証する。
• 報酬値の正確な推定を可能にするために、モデルフリーの深層強化学習とモデルベース最適化モジュールを組み合わせたハイブリッドDRLアーキテクチャを採用する。
• 現在のシステム状態（例：チャネル状態、キューのバックログなど）に基づいて、バイナリのオフロード意思決定を予測するための深層ニューラルネットワーク（DNN）を用いる。
• DNNの出力をローカル最適化エンジンと統合し、各候補行動について最適なリソース割り当て（例：送信時間、CPU周波数）を計算する。
• リャプノフドリフトプラスペナルティ最小化を活用して、性能と制約違反のバランスをとることで、安定性の保証を可能にする。

実験結果

リサーチクエスチョン

• RQ1 不確実性下でのオンライン計算オフロードにおいて、リャプノフ最適化と深層強化学習を効果的に統合することで、安定性を確保できるか？
• RQ2 大規模な確率的MINLPを解く際の計算複雑度を、変動するMECネットワークにおけるリアルタイム展開に適した形で低減できるか？
• RQ3 提案されたLyDROOフレームワークは、計算性能を最大化しつつ、どの程度データキューの安定性と電力制約の満たしを維持できるか？
• RQ4 モデルベース最適化とモデルフリーDRLを統合することで、純粋なDRLアプローチと比較して、学習収束性と意思決定の正確性がどのように向上するか？
• RQ5 時間変動するネットワーク状態下でのオンラインオフロードアルゴリズムにおいて、性能最適性と計算遅延のトレードオフはどのようなものか？

主な発見

• LyDROOは、すべてのデータキューを安定化させるとともに、平均電力制約を確率1で満たしながら、最適な計算性能を達成する。
• 1フレームあたりの計算時間が非常に短く、高速フェージング無線環境におけるリアルタイム実装に適している。
• シミュレーション結果から、LyDROOはデータキューおよび仮想キューの強い安定性を維持しており、キューのバックログが時間とともに線形より緩やかに増加することが示された。
• 仮想キューのレート安定性が保証されており、これは長期的に平均電力制約がほとんど確実に満たされていることを意味する。
• 動的システム状態下でも、従来の最適化手法および純粋なDRLベースラインと比較して、収束速度とロバストネスの両面で優れている。
• 理論的分析により、LyDROOが最適解から最大で $\hat{B}+C - V R^{\text{opt}}$ の性能ギャップを有することを証明した。ここで $V$ は性能と制約違反の間のトレードオフを制御する。