[论文解读] Deep Reinforcement Learning for Unmanned Aerial Vehicle-Assisted Vehicular Networks

Ming Zhu, Xiao-Yang Liu+1 more|arXiv (Cornell University)|Jun 12, 2019

UAV Applications and Optimization参考文献 40被引用 21

一句话总结

本文提出一种基于深度确定性策略梯度（DDPG）的深度强化学习框架，用于在无人机辅助的车联网中联合优化无人机三维飞行轨迹、功率控制与信道分配。该方法在未知且动态的信道条件下自适应学习，显著提升了吞吐量，尤其在高流量的城市交叉路口场景中表现突出。

ABSTRACT

Unmanned aerial vehicles (UAVs) are envisioned to complement the 5G communication infrastructure in future smart cities. Hot spots easily appear in road intersections, where effective communication among vehicles is challenging. UAVs may serve as relays with the advantages of low price, easy deployment, line-of-sight links, and flexible mobility. In this paper, we study a UAV-assisted vehicular network where the UAV jointly adjusts its transmission control (power and channel) and 3D flight to maximize the total throughput. First, we formulate a Markov decision process (MDP) problem by modeling the mobility of the UAV/vehicles and the state transitions. Secondly, we solve the target problem using a deep reinforcement learning method, namely, the deep deterministic policy gradient (DDPG), and propose three solutions with different control objectives. Deep reinforcement learning methods obtain the optimal policy through the interactions with the environment without knowing the environment variables. Considering that environment variables in our problem are unknown and unmeasurable, we choose a deep reinforcement learning method to solve it. Moreover, considering the energy consumption of 3D flight, we extend the proposed solutions to maximize the total throughput per unit energy. To encourage or discourage the UAV's mobility according to its prediction, the DDPG framework is modified, where the UAV adjusts its learning rate automatically. Thirdly, in a simplified model with small state space and action space, we verify the optimality of proposed algorithms. Comparing with two baseline schemes, we demonstrate the effectiveness of proposed algorithms in a realistic model.

研究动机与目标

• 解决在高移动性和动态信道条件下最大化无人机辅助车联网总下行链路吞吐量的挑战。
• 克服传统优化方法对精确信道状态信息的依赖，而此类信息在真实5G场景中往往不可用或无法测量。
• 设计一种联合控制策略，同时优化无人机三维定位、发射功率与频段信道分配。
• 通过修改DDPG框架，考虑三维飞行的能量消耗，以平衡移动性与频谱效率。
• 在具有动态车辆到达与交通灯控制移动模式的真实交通场景中验证所提方法。

提出的方法

• 将无人机-车辆通信问题建模为马尔可夫决策过程（MDP），基于动作建模无人机与车辆的状态转移。
• 实现深度确定性策略梯度（DDPG）算法，学习无人机三维位置、功率与信道选择的连续控制策略，且无需预先了解环境动力学。
• 通过引入自适应学习率，修改DDPG框架，以根据预测性能增益来鼓励或抑制无人机移动。
• 扩展奖励函数，通过引入单位能量吞吐量，纳入能量效率，实现对数据速率与飞行能量成本的联合优化。
• 使用经验回放与目标网络训练DDPG智能体，以在连续动作空间中稳定学习。
• 在高性能服务器上对DDPG网络进行预训练，并计划未来在轻量化、低功耗推理硬件上进行边缘部署。

实验结果

研究问题

• RQ1 深度强化学习能否在具有未知信道参数的动态车联网中，有效优化无人机三维轨迹、功率控制与信道分配的联合问题？
• RQ2 在无人机辅助通信中，三维飞行能量消耗的引入如何影响总吞吐量与能量效率之间的权衡？
• RQ3 在真实城市交通场景中，所提出的基于DDPG的方法相比Cycle与Greedy等基线方案的性能增益如何？
• RQ4 在车辆密度与移动性变化的环境中，无人机的自适应学习率机制如何影响收敛性与性能？
• RQ5 与固定高度或非移动策略相比，无人机的移动性在多大程度上提升了频谱效率？

主要发现

• 基于DDPG的算法在总吞吐量方面显著优于Cycle与Greedy基线方法，尤其在具有动态车辆到达的高流量场景中。
• 当车辆到达概率λ从0.3增至0.6时，总吞吐量上升，但在λ = 0.6时趋于饱和，表明交通拥堵限制了服务容量。
• 在τ⁺ = 0.0012（更高移动偏好）时，总吞吐量远高于τ⁺ = 0.001或0.0008，表明在能量成本可接受的前提下，增加移动性可实现更好的频谱效率。
• 当τ⁺ ≤ 0.001时，进一步增加移动性无法提升吞吐量，表明性能已达到平台期，额外移动不再带来收益。
• 无人机飞行时间随三维飞行能量分配的增加而线性增长，飞行时间最短时对应无人机最活跃（高τ⁺），最长时对应无人机最不活跃（低τ⁻）。
• 神经网络训练良好，表现为多个图表中性能曲线形状一致（如图11、图14），表明策略学习稳定且具备泛化能力。