[论文解读] Distributed Multi-agent Meta Learning for Trajectory Design in Wireless Drone Networks

Ye Hu, Mingzhe Chen+3 more|arXiv (Cornell University)|Dec 6, 2020

UAV Applications and Optimization参考文献 29被引用 7

一句话总结

本文提出了一种分布式多智能体元强化学习框架，用于在动态、不可预测的无线网络中优化无人机基站（DBS）的轨迹。通过结合值分解强化学习（VD-RL）与元学习，该方法使能量受限的无人机能够协作最大化用户覆盖范围，并快速适应未见过的环境，相比基线方法，服务覆盖范围提升53.2%，收敛速度最快提升53.8%。

ABSTRACT

In this paper, the problem of the trajectory design for a group of energy-constrained drones operating in dynamic wireless network environments is studied. In the considered model, a team of drone base stations (DBSs) is dispatched to cooperatively serve clusters of ground users that have dynamic and unpredictable uplink access demands. In this scenario, the DBSs must cooperatively navigate in the considered area to maximize coverage of the dynamic requests of the ground users. This trajectory design problem is posed as an optimization framework whose goal is to find optimal trajectories that maximize the fraction of users served by all DBSs. To find an optimal solution for this non-convex optimization problem under unpredictable environments, a value decomposition based reinforcement learning (VDRL) solution coupled with a meta-training mechanism is proposed. This algorithm allows the DBSs to dynamically learn their trajectories while generalizing their learning to unseen environments. Analytical results show that, the proposed VD-RL algorithm is guaranteed to converge to a local optimal solution of the non-convex optimization problem. Simulation results show that, even without meta-training, the proposed VD-RL algorithm can achieve a 53.2% improvement of the service coverage and a 30.6% improvement in terms of the convergence speed, compared to baseline multi-agent algorithms. Meanwhile, the use of meta-learning improves the convergence speed of the VD-RL algorithm by up to 53.8% when the DBSs must deal with a previously unseen task.

研究动机与目标

• 解决在用户需求波动的动态、不可预测无线环境中，能量受限无人机基站（DBS）轨迹设计的挑战。
• 克服传统优化与强化学习方法在非凸性、可扩展性以及对未见场景泛化能力方面的局限性。
• 在无需完整状态或动作共享的前提下，实现多个DBS之间的协作式、去中心化轨迹规划，以最大化整体用户覆盖范围。
• 通过集成元学习，提升DBS在先前未见过的任务环境中运行时的泛化能力与收敛速度。
• 开发一种可扩展的分布式学习框架，使每个DBS能够独立优化自身策略，同时贡献于全局团队效用。

提出的方法

• 将DBS轨迹设计建模为一个非凸优化问题，以最大化服务地面用户的比例。
• 提出一种基于值分解的强化学习（VD-RL）算法，实现在保持团队级效用最大化的前提下进行去中心化策略学习。
• 将元学习集成到VD-RL框架中，使DBS能够通过从先前任务中学习，快速适应新的、未见过的环境。
• 使用中心化评论器来估计团队效用，并在智能体之间分解优势函数，实现在无需完整状态共享的情况下实现协调学习。
• 采用具有自适应学习率的分布式策略梯度更新，确保在较弱条件下实现收敛。
• 应用一种元训练机制，在多样化任务分布上预先训练策略和价值函数参数，以提升零样本泛化能力。

实验结果

研究问题

• RQ1 在用户请求动态且不可预测的环境中，一群能量受限的无人机如何协作设计轨迹以最大化覆盖范围？
• RQ2 去中心化的多智能体强化学习方法是否能有效优化全局覆盖范围，而无需无人机之间共享完整状态或动作？
• RQ3 集成元学习在多大程度上提升了DBS轨迹策略在未见环境中的收敛速度与泛化能力？
• RQ4 在非凸、多智能体设置下，所提出的VD-RL算法的收敛性可提供哪些理论保证？
• RQ5 与传统的多智能体强化学习和基于优化的轨迹设计方法相比，所提出方法在性能与适应性方面表现如何？

主要发现

• 所提出的VD-RL算法相比基线多智能体强化学习算法，服务覆盖范围提升了53.2%。
• 即使未进行元训练，VD-RL算法相比基线方法仍实现了30.6%的收敛速度提升。
• 在处理先前未见的任务时，元学习的集成使VD-RL算法的收敛速度最快提升了53.8%。
• 理论分析证明，在较弱条件下，VD-RL算法可收敛至非凸优化问题的局部最优解。
• 该算法确保每个DBS在去中心化学习下均收敛至最大化团队整体效用的局部最优策略。
• 由于元学习的引入，该方法能有效泛化至新环境，显著减少在新任务分布上进行大规模重训练的需求。