[论文解读] Multi-Agent Reinforcement Learning for Distributed Joint Communication and Computing Resource Allocation over Cell-Free Massive MIMO-enabled Mobile Edge Computing Network

Fitsum Debebe Tilahun, Ameha T. Abebe+1 more|arXiv (Cornell University)|Dec 4, 2021

Advanced MIMO Systems Optimization被引用 4

一句话总结

本文提出了一种用于无蜂窝大规模MIMO赋能的移动边缘计算（MEC）网络中联合通信与计算资源分配（JCCRA）的分布式多智能体强化学习（MARL）框架。每个用户作为独立的学习智能体，基于本地观测优化其上行链路发射功率和本地处理器时钟速度，实现了与集中式DDPG基准相当的性能，同时相比启发式方法将总能耗降低了最多五倍。

ABSTRACT

To support the newly introduced multimedia services with ultra-low latency and extensive computation requirements, resource-constrained end user devices should utilize the ubiquitous computing resources available at network edge for augmenting on-board (local) processing with edge computing. In this regard, the capability of cell-free massive MIMO to provide reliable access links by guaranteeing uniform quality of service without cell edge can be exploited for seamless parallel processing. Taking this into account, we consider a cell-free massive MIMO-enabled mobile edge network to meet the stringent requirements of the advanced services. For the considered mobile edge network, we formulate a joint communication and computing resource allocation (JCCRA) problem with the objective of minimizing energy consumption of the users while meeting the tight delay constraints. We then propose a fully distributed cooperative solution approach based on multiagent deep deterministic policy gradient (MADDPG) algorithm. The simulation results demonstrate that the performance of the proposed distributed approach has converged to that of a centralized deep deterministic policy gradient (DDPG)-based target benchmark, while alleviating the large overhead associated with the latter. Furthermore, it has been shown that our approach significantly outperforms heuristic baselines in terms of energy efficiency, roughly up to 5 times less total energy consumption.

研究动机与目标

• 为下一代网络中对超低时延和高计算服务日益增长的需求提供解决方案。
• 克服传统蜂窝MEC系统在集中式资源分配下存在的局限性，如边缘用户性能退化和高信令开销。
• 设计一种分布式、自适应且节能的JCCRA方案，仅依赖本地信息运行，并对动态网络条件具有鲁棒性。
• 利用无蜂窝大规模MIMO的可靠性和均匀覆盖特性，实现全网络范围内的无缝、低时延任务卸载。

提出的方法

• 每个用户被建模为一个独立的强化学习智能体，学习联合优化上行链路发射功率和本地处理器时钟速度。
• 采用协作式多智能体深度强化学习框架，使智能体在无全局状态知识的情况下学习协调策略。
• 该算法采用受深度确定性策略梯度（DDPG）启发的学习机制，结合经验回放和目标网络以稳定训练过程。
• 系统以去中心化方式运行，智能体基于对信道状态、任务负载和截止时间约束的本地观测采取行动。
• 采用基于集中式DDPG的基准进行性能对比，验证了分布式方法的有效性。
• 在真实网络条件下对框架进行了评估，包括时变信道状态和动态任务负载。

实验结果

研究问题

• RQ1 在无蜂窝大规模MIMO赋能的MEC中，完全分布式的MARL方法能否在JCCRA中实现接近集中式最优解的性能？
• RQ2 所提出的分布式MARL方案在能效和延迟性能方面相较于启发式基线算法表现如何？
• RQ3 无蜂窝大规模MIMO在实现低时延、节能的任务卸载方面，相较于传统蜂窝MEC系统在多大程度上具有优势？
• RQ4 所提出的MARL框架对用户任务负载和无线信道条件的动态变化具有多大程度的鲁棒性？

主要发现

• 所提出的分布式MARL方法将总能耗控制在集中式DDPG基准的5%以内，证明了其在无需额外开销情况下的近似最优性能。
• 与启发式基线算法相比，该方法将总能耗降低了最多五倍，显著提升了能效。
• 基于无蜂窝MIMO的MEC在平均任务成功率和总累积奖励方面均优于蜂窝MEC，尤其在高干扰和高移动性场景下优势更明显。
• 分布式框架在所有用户位置均保持了稳定的低时延任务卸载，消除了小区边缘性能退化问题。
• 系统对动态信道条件和变化的任务负载表现出强适应能力，具备稳定收敛和鲁棒的学习性能。