[论文解读] Deep Reinforcement Learning Based Dynamic Trajectory Control for UAV-assisted Mobile Edge Computing

Liang Wang, Kezhi Wang+4 more|arXiv (Cornell University)|Nov 10, 2019

UAV Applications and Optimization参考文献 44被引用 16

一句话总结

本文提出一种基于深度强化学习的轨迹控制算法（RAT），用于无人机辅助的移动边缘计算，联合优化用户关联、资源分配与无人机轨迹，以最小化用户设备（UE）的总能耗。与基于凸优化的CAT算法相比，RAT能够在多样化无人机起飞点下实现实时、自适应决策，收敛速度更快，性能更优，其有效性已在二维和三维场景的仿真中得到验证。

ABSTRACT

In this paper, we consider a platform of flying mobile edge computing (F-MEC), where unmanned aerial vehicles (UAVs) serve as equipment providing computation resource, and they enable task offloading from user equipment (UE). We aim to minimize energy consumption of all the UEs via optimizing the user association, resource allocation and the trajectory of UAVs. To this end, we first propose a Convex optimizAtion based Trajectory control algorithm (CAT), which solves the problem in an iterative way by using block coordinate descent (BCD) method. Then, to make the real-time decision while taking into account the dynamics of the environment (i.e., UAV may take off from different locations), we propose a deep Reinforcement leArning based Trajectory control algorithm (RAT). In RAT, we apply the Prioritized Experience Replay (PER) to improve the convergence of the training procedure. Different from the convex optimization based algorithm which may be susceptible to the initial points and requires iterations, RAT can be adapted to any taking off points of the UAVs and can obtain the solution more rapidly than CAT once training process has been completed. Simulation results show that the proposed CAT and RAT achieve the similar performance and both outperform traditional algorithms.

研究动机与目标

• 解决在具有动态连续决策变量的无人机辅助移动边缘计算（F-MEC）中最小化长期能耗的挑战。
• 通过实现实时自适应控制，克服传统凸优化方法的局限性，如对初始点敏感和迭代开销高。
• 设计一种可扩展的多无人机系统解决方案，联合优化用户关联、资源分配与轨迹控制。
• 实现从任意无人机起飞位置出发的快速、可泛化的决策，提升灵活性与部署适应性。
• 展示所提方法在能效和收敛速度方面优于传统及启发式基线方法的性能优势。

提出的方法

• 提出一种基于凸优化的轨迹控制（CAT）算法，采用块坐标下降（BCD）方法，迭代求解无人机轨迹、用户关联与资源分配问题。
• 设计一种基于深度强化学习的轨迹控制（RAT）框架，采用两个深度Q网络（DQN）：一个策略网络用于动作选择（方向与距离），一个评论家网络用于价值评估。
• 集成一种低复杂度匹配算法，根据无人机可用性与信道条件动态分配用户并进行资源分配。
• 采用优先经验回放（PER）机制，通过聚焦于高影响力经验加速训练收敛。
• 将所有用户设备的总能耗定义为强化学习的奖励信号，以引导策略学习。
• 在包含高度变化与空间移动性的三维环境中训练RAT，以反映真实世界部署约束。

实验结果

研究问题

• RQ1 深度强化学习框架能否在动态多无人机F-MEC环境中有效优化无人机轨迹、用户关联与资源分配？
• RQ2 与基于凸优化的CAT及启发式基线相比，所提出的RAT算法在能耗与收敛速度方面表现如何？
• RQ3 RAT在无需微调的情况下，对不同无人机起飞位置的泛化能力如何？
• RQ4 在三维轨迹模型中引入高度控制对系统性能与能效有何影响？
• RQ5 在所提框架中，增加无人机数量对用户设备整体能耗有何影响？

主要发现

• RAT在所有评估算法中实现最低的整体能耗，始终优于CAT、CM、RM和LE在所有测试场景中的表现。
• 在双无人机的三维场景中，RAT在训练后将用户设备能耗降低至约350 J，而学习初期能耗为600–700 J。
• 随着无人机数量增加，所有算法的用户设备整体能耗均因计算容量提升而下降，但RAT始终保持最佳性能优势。
• RAT展现出卓越的适应性，无论无人机初始起飞位置如何，均能实现快速推理与稳定性能，而CAT对初始化敏感。
• 三维轨迹结果表明，无人机初始阶段会爬升以扩大覆盖范围，随后动态调整位置以服务多个用户，实现速率与服务范围的平衡。
• 与CM（恒定高度）和RM（随机移动）相比，RAT平均降低无人机能耗超过10%，用户设备能耗降低超过20%。