[论文解读] Joint Trajectory and Passive Beamforming Design for Intelligent Reflecting Surface-Aided UAV Communications: A Deep Reinforcement Learning Approach

Liang Wang, Kezhi Wang+2 more|arXiv (Cornell University)|Jul 16, 2020

Advanced Wireless Communication Technologies被引用 12

一句话总结

本文提出一种基于深度强化学习（DRL）的方法，用于在IRS辅助的无人机通信系统中联合优化无人机轨迹与被动波束成形，以最大化能量效率。该方法引入基于DQN的离散轨迹控制方法和基于DDPG的连续轨迹优化方法，在能效方面优于传统基准方法（如FF和RR）。

ABSTRACT

In this paper, the intelligent reflecting surface (IRS)-aided unmanned aerial vehicle (UAV) communication system is studied, where the UAV is deployed to serve the user equipment (UE) with the assistance of multiple IRSs mounted on several buildings to enhance the communication quality between UAV and UE. We aim to maximize the energy efficiency of the system, including the data rate of UE and the energy consumption of UAV via jointly optimizing the UAV's trajectory and the phase shifts of reflecting elements of IRS, when the UE moves and the selection of IRSs is considered for the energy saving purpose. Since the system is complex and the environment is dynamic, it is challenging to derive low-complexity algorithms by using conventional optimization methods. To address this issue, we first propose a deep Q-network (DQN)-based algorithm by discretizing the trajectory, which has the advantage of training time. Furthermore, we propose a deep deterministic policy gradient (DDPG)-based algorithm to tackle the case with continuous trajectory for achieving better performance. The experimental results show that the proposed algorithms achieve considerable performance compared to other traditional solutions.

研究动机与目标

• 解决在移动用户设备（UE）和动态IRS选择条件下，最大化IRS辅助无人机通信系统能效的挑战。
• 克服在移动UE和多个IRS存在时，传统优化方法在高维动态环境中的复杂性问题。
• 设计低复杂度、自适应的算法，用于在实际约束下联合优化无人机轨迹与被动相位偏移。
• 利用深度强化学习实现实时、可扩展的无人机移动性与IRS反射波束控制。
• 在支持动态用户移动性和IRS选择的前提下，提升系统在数据速率和能耗方面的性能。

提出的方法

• 将联合优化问题建模为马尔可夫决策过程（MDP），其中无人机轨迹和IRS相位偏移作为动作。
• 采用基于DQN的算法，对无人机轨迹和动作空间进行离散化，以实现更快的训练速度和更低的复杂度。
• 开发基于DDPG的算法，实现对无人机轨迹和相位偏移的连续优化，以提升性能。
• 设计奖励函数以平衡数据速率与无人机能耗，对性能较差的情况（如飞出范围）施加负奖励。
• 使用经验回放和目标网络训练DQN与DDPG智能体，以稳定学习过程并提升收敛性。
• 采用全连接神经网络近似Q值（DQN）和策略函数（DDPG），相位偏移优化在每个时隙内独立执行。

实验结果

研究问题

• RQ1 在动态、移动UE环境中，如何联合优化无人机轨迹与IRS被动波束成形以最大化系统能效？
• RQ2 在IRS辅助的无人机通信中，基于DRL的方法相比传统启发式或优化方法的性能增益如何？
• RQ3 反射元件数量的增加如何影响所提DRL算法的学习性能与能效？
• RQ4 DQN（离散）与DDPG（连续）方法在训练时间与性能之间的权衡如何？
• RQ5 主动IRS的选择如何影响系统能效与学习收敛性？

主要发现

• 基于DDPG的算法实现的平均能效（70 bps/J）高于DQN（略低于70 bps/J），并显著优于FF和RR基准方法。
• 随着反射元件数量的增加，DQN与DDPG均表现出更高的平均奖励与能效，表明算法在IRS规模增大时具备良好的可扩展性。
• 由于连续动作空间优化的优势，DDPG在所有阶段均实现高于DQN的奖励，支持更平滑、更高效的无人机轨迹规划。
• 训练时间随反射元件数量增加而上升，但DQN因采用更简单的离散动作空间，训练速度仍快于DDPG。
• DDPG学习到的无人机轨迹更具自适应性与高效性，能动态调整高度与位置，以维持与选定IRS和移动UE的视 Line-of-Sight（LoS）链路。
• DQN与DDPG智能体在充分训练后收敛至稳定策略，平均奖励随训练轮次增加而提升，并在高水平稳定下来。