[论文解读] Cooperative Multi-Agent Deep Reinforcement Learning for Reliable and Energy-Efficient Mobile Access via Multi-UAV Control

Chanyoung Park, Park, Soohyun+3 more|arXiv (Cornell University)|Oct 3, 2022

UAV Applications and Optimization被引用 10

一句话总结

本文提出一种基于CommNet启发架构的协作多智能体深度强化学习（MADRL）算法，用于在60 GHz毫米波网络中优化多无人机基站（UAV-BS）定位，以实现智能交通系统（ITS）中可靠、节能的移动接入。通过整合QoS感知奖励与无人机能量模型，该方法在计算成本较完整CommNet基线降低214.2%的同时，实现了更优的服务可靠性与收敛性能，优于现有方法在连通性与鲁棒性方面的表现。

ABSTRACT

This paper addresses a novel multi-agent deep reinforcement learning (MADRL)-based positioning algorithm for multiple unmanned aerial vehicles (UAVs) collaboration (i.e., UAVs work as mobile base stations). The primary objective of the proposed algorithm is to establish dependable mobile access networks for cellular vehicle-to-everything (C-V2X) communication, thereby facilitating the realization of high-quality intelligent transportation systems (ITS). The reliable mobile access services can be achieved in following two ways, i.e., i) energy-efficient UAV operation and ii) reliable wireless communication services. For energy-efficient UAV operation, the reward of our proposed MADRL algorithm contains the features for UAV energy consumption models in order to realize efficient operations. Furthermore, for reliable wireless communication services, the quality of service (QoS) requirements of individual users are considered as a part of rewards and 60GHz mmWave radio is used for mobile access. This paper considers the 60GHz mmWave access for utilizing the benefits of i) ultra-wide-bandwidth for multi-Gbps high-speed communications and ii) high-directional communications for spatial reuse that is obviously good for densely deployed users. Lastly, the comprehensive and data-intensive performance evaluation of the proposed MADRL-based algorithm for multi-UAV positioning is conducted in this paper. The results of these evaluations demonstrate that the proposed algorithm outperforms other existing algorithms.

研究动机与目标

• 通过多无人机网络实现智能交通系统（ITS）中车辆到一切（V2X）通信的可靠且节能的移动接入。
• 解决空中蜂窝网络中无人机能量约束与动态移动性引起的QoS退化挑战。
• 设计一种协作多智能体强化学习框架，使UAV-BS能够根据故障和用户需求变化自适应地重新定位。
• 利用60 GHz毫米波通信实现超宽带与高方向性，以支持空间复用和高数据速率。
• 通过混合DNN-CommNet架构，在最小化计算开销的同时实现高服务可靠性。

提出的方法

• 所提方法基于通信神经网络（CommNet）的集中训练、分布式执行（CTDE）框架，实现智能体间UAV-BS协调。
• 采用混合架构，由一个基于CommNet的领导者UAV-BS与三个基于DNN的从者UAV-BS组成，以平衡通信与计算效率。
• 奖励函数整合两个目标：单个用户设备（UE）的QoS满足度与UAV能量效率，后者通过能量消耗函数建模。
• 采用60 GHz毫米波接入，以利用超宽带与高方向性，实现空间复用与高数据速率。
• 系统基于部分可观测马尔可夫决策过程（POMDP）公式进行训练，以处理多智能体环境中部分状态可观测的问题。
• 通过在动态条件下（包括UAV-BS故障与用户移动性）进行大规模数据密集型仿真评估性能。

实验结果

研究问题

• RQ1 如何协调多UAV-BS系统，以在用户动态移动与环境扰动下确保V2X通信的可靠性？
• RQ2 在多智能体空中基站部署中，服务可靠性与UAV能量效率之间的最优权衡是什么？
• RQ3 与纯DNN或CommNet基线相比，混合DNN-CommNet架构在计算成本与性能方面表现如何？
• RQ4 当非智能体UAV-BS在运行中发生故障时，MADRL系统在多大程度上能维持连通性与QoS？
• RQ5 60 GHz毫米波通信在密集城市ITS场景中，对提升空间复用与吞吐量起到何种作用？

主要发现

• 所提方法相比完整CommNet基线（Comp2）计算成本降低214.2%，同时在服务可靠性与奖励收敛性能方面表现更优。
• 与仅使用DNN的基线（Comp1）相比，该算法计算成本高出249.5%，但显著提升了连通性与鲁棒性。
• 在UAV-BS发生故障时，智能体UAV-BS会动态重新定位以覆盖未覆盖区域，其中一个智能体在t=30至t=35之间向左移动以替代故障的非智能体UAV-BS。
• 随着更多非智能体UAV-BS失效，UAV-BS逐渐升高高度，扩大覆盖半径并服务更多UE，与路径损耗和覆盖模型一致。
• 系统在收敛后保持稳定最优位置，展现出对意外故障与动态条件的强适应能力。
• 全面仿真结果证实，所提出的MADRL/CommNet算法在服务品质、可靠性与能效方面优于现有方法。