[論文レビュー] Computation Offloading in Beyond 5G Networks: A Distributed Learning Framework and Applications

Xianfu Chen, Celimuge Wu+3 more|arXiv (Cornell University)|Jul 15, 2020

IoT and Edge/Fog Computing参考文献 13被引用数 4

ひとこと要約

本稿では、5Gを超えるネットワークにおける計算オフロードのための分散強化学習フレームワークを提案する。問題を複数エージェントのマルコフ決定過程（MADP）としてモデル化することで、自律的かつスケーラブルな意思決定を可能にする。提案されたオンラインディープRLアルゴリズムは、チャネル指向およびキュー指向のベンチマーク戦略よりも優れた平均効用性能を達成しており、動的トラフィック負荷下でも約13,000ステップの収束が観察された。

ABSTRACT

Facing the trend of merging wireless communications and multi-access edge computing (MEC), this article studies computation offloading in the beyond fifth-generation networks. To address the technical challenges originating from the uncertainties and the sharing of limited resource in an MEC system, we formulate the computation offloading problem as a multi-agent Markov decision process, for which a distributed learning framework is proposed. We present a case study on resource orchestration in computation offloading to showcase the potentials of an online distributed reinforcement learning algorithm developed under the proposed framework. Experimental results demonstrate that our learning algorithm outperforms the benchmark resource orchestration algorithms. Furthermore, we outline the research directions worth in-depth investigation to minimize the time cost, which is one of the main practical issues that prevent the implementation of the proposed distributed learning framework.

研究の動機と目的

• 5Gを超えるマルチアクセスエッジコンピューティング（MEC）システムにおける動的リソース共有と不確実性の課題に対処すること。
• 中央集権的な調整なしに、複数のモバイル端末（MTs）間でスケーラブルかつ自律的な計算オフロード意思決定を可能にすること。
• 変化するネットワーク状態とワークロードにリアルタイムで適応できる分散学習フレームワークを構築すること。
• リソースオ케ストレーションにおける高いパフォーマンスを維持しつつ、トレーニングの時間コストを最小限に抑えること。

提案手法

• MTs間の相互依存意思決定をモデル化するため、計算オフロードを複数エージェントのマルコフ決定過程（MADP）として定式化する。
• 各MTをエージェントとして動作させる分散学習フレームワークを設計し、ローカル観測値と文脈的情報のみを用いる。
• リアルタイムフィードバック（報酬）に基づいてオフロード意思決定を動的に最適化するオンラインディープ強化学習アルゴリズムを実装する。
• ポリシーの抽象化を向上させ、トレーニングの不安定性を低減するために教師あり学習部を統合する。
• ディープRL部のトレーニング安定化のために、経験再生とターゲットネットワークを活用する。
• リアルタイムにおける高次元の状態-行動空間を扱うために、深層ニューラルネットワークによる関数近似を適用する。

実験結果

リサーチクエスチョン

• RQ1 動的で共有リソース制約がある5Gを超えるネットワークにおける計算オフロードは、どのように最適化できるか？
• RQ2 マルチエージェントMEC環境における分散意思決定が、システムのスケーラビリティとパフォーマンスに与える影響は何か？
• RQ3 オンライン分散強化学習は、リアルタイムオフロードにおいて、集中型またはヒューリスティックなベンチマークを上回る効用を達成できるか？
• RQ4 オンライン学習の収束時間は、大規模MECシステムへの実用的導入にどのような影響を及えるか？
• RQ5 分散オフローディングフレームワークにおけるトレーニングを加速し、時間コストを削減するための技術は何か？

主な発見

• 提案されたオンラインディープRLアルゴリズムは、トレーニングプロセス中に約13,000ステップの収束を示した。
• アルゴリズムは、チャネル指向およびキュー指向のベンチマークアルゴリズムと比較して、顕著に優れた平均効用性能を達成した。
• トラフィック負荷が増加する状況でも、アルゴリズムはチャネル指向アプローチよりもパケット損失をより効果的に低減したが、それとは対照的にローカルCPUエネルギー消費量は高くなった。
• 変動するデータ到着レート下でも、アルゴリズムはチャネル指向ベースラインと比較して、平均キュー長が低く、パケット損失も少ないことを確認した。
• フレームワークは、エージェント間の通信や中央集権的調整を一切必要とせず、自律的かつスケーラブルな意思決定を可能にした。
• 研究では、オフポリシー学習とトランスファーラーニングが、実用的導入におけるトレーニング時間の短縮と収束の加速を可能にする重要な要因であると特定した。