[論文レビュー] Multi-Agent Reinforcement Learning for Distributed Joint Communication and Computing Resource Allocation over Cell-Free Massive MIMO-enabled Mobile Edge Computing Network

Fitsum Debebe Tilahun, Ameha T. Abebe+1 more|arXiv (Cornell University)|Dec 4, 2021

Advanced MIMO Systems Optimization被引用数 4

ひとこと要約

本稿では、セルフリーブル・マス・MIMOを活用したモバイルエッジコンピューティング（MEC）ネットワークにおける、共同通信および計算リソース割り当て（JCCRA）のための分散型マルチエージェント強化学習（MARL）フレームワークを提案する。各ユーザーは、局所的な観測に基づいて自らの送信電力とプロセッサクロック周波数を最適化する独立した学習エージェントとして機能し、中央集権的DDPGベンチマークと同等の性能を達成するとともに、ヒューリスティック手法と比較して総消費エネルギーを最大5倍まで低減する。

ABSTRACT

To support the newly introduced multimedia services with ultra-low latency and extensive computation requirements, resource-constrained end user devices should utilize the ubiquitous computing resources available at network edge for augmenting on-board (local) processing with edge computing. In this regard, the capability of cell-free massive MIMO to provide reliable access links by guaranteeing uniform quality of service without cell edge can be exploited for seamless parallel processing. Taking this into account, we consider a cell-free massive MIMO-enabled mobile edge network to meet the stringent requirements of the advanced services. For the considered mobile edge network, we formulate a joint communication and computing resource allocation (JCCRA) problem with the objective of minimizing energy consumption of the users while meeting the tight delay constraints. We then propose a fully distributed cooperative solution approach based on multiagent deep deterministic policy gradient (MADDPG) algorithm. The simulation results demonstrate that the performance of the proposed distributed approach has converged to that of a centralized deep deterministic policy gradient (DDPG)-based target benchmark, while alleviating the large overhead associated with the latter. Furthermore, it has been shown that our approach significantly outperforms heuristic baselines in terms of energy efficiency, roughly up to 5 times less total energy consumption.

研究の動機と目的

• 次世代ネットワークにおける超低遅延および高計算要求サービスの増加する需要に対応すること。
• 集中型リソース割り当てにおけるシグナリングオーバーヘッドの高さや、セルエッジユーザーの性能劣化といった、セルラーメーカーMECシステムの限界を克服すること。
• 局所情報のみを用いて動作し、動的なネットワーク状態に強く耐性を持つ、分散型で適応的かつエネルギー効率の高いJCCRA方式を設計すること。
• セルフリーブルマスMIMOの信頼性と均一なカバレッジを活用し、ネットワーク全体にわたりシームレスで低遅延のタスクオフロードを実現すること。

提案手法

• 各ユーザーを、上行リンク送信電力とローカルプロセッサクロック周波数を共同で最適化する独立した強化学習エージェントとしてモデル化する。
• エージェントがグローバルな状態情報を持たずに協調的で最適な方策を学習できる、協調的マルチエージェントディープ強化学習フレームワークを採用する。
• 学習の安定化のため、経験リプレイとターゲットネットワークを用いたDDPGに類似した深層決定的方策勾配法を用いる。
• システムは分散型に動作し、エージェントはチャネル状態、タスク負荷、およびデッドライン制約の局所的観測に基づいて行動する。
• 性能比較のため、中央集権的DDPGベースのベンチマークを用い、分散型アプローチの有効性を示す。
• 時間変動するチャネル状態と動的なタスク負荷を含む、現実的なネットワーク環境下でフレームワークを評価する。

実験結果

リサーチクエスチョン

• RQ1 セルフリーブルMIMOで強化されたMECにおけるJCCRAにおいて、完全に分散型のMARLアプローチが中央集権的最適解に近い性能を達成できるか？
• RQ2 提案された分散型MARL方式は、ヒューリスティックベースラインアルゴリズムと比較して、エネルギー効率および遅延性能でどのように差をつけるか？
• RQ3 セルフリーブルマスMIMOは、従来のセルラーメーカーMECに比べて、低遅延かつエネルギー効率の良いタスクオフロードをどの程度上回るか？
• RQ4 提案されたMARLフレームワークは、ユーザーのタスク負荷および無線チャネル状態の動的な変化に対して、どの程度の耐性を示すか？

主な発見

• 提案された分散型MARLアプローチは、中央集権的DDPGベンチマークと比較して、総消費エネルギーを5%以内に抑えることができ、追加のオーバーヘッドなしにほぼ最適な性能を達成した。
• ヒューリスティックベースラインアルゴリズムと比較して、総消費エネルギーを最大5倍まで低減し、エネルギー効率を顕著に向上させた。
• セルフリーブルMIMOを用いたMECは、平均タスク成功確率および総蓄積報酬の両面で、セルラーメーカーMECを上回った。特に、高干渉環境および高い移動性下でも顕著な優位性を示した。
• 分散型フレームワークは、すべてのユーザーの位置において一貫して低遅延のタスクオフロードを維持し、セルエッジ性能劣化を完全に排除した。
• 変動するチャネル状態および変動するタスク負荷に対して、高い適応性を示し、安定した収束と頑健な学習性能を達成した。