[论文解读] An Actor-Critic-Based UAV-BSs Deployment Method for Dynamic Environments

Zhiwei Chen, Yi Zhong+2 more|arXiv (Cornell University)|Feb 3, 2020

UAV Applications and Optimization参考文献 15被引用 5

一句话总结

本文提出了一种基于演员-评论家深度强化学习（DRL）的方法，用于在动态环境中实时部署无人机载基站（UAV-BSs），以最大化用户吞吐量。通过将无人机定位建模为马尔可夫决策过程（MDP），该方法使用两个深度神经网络持续调整无人机位置，在动态用户场景下，相比启发式方法，实现了27%更高的长期平均吞吐量和24%更快的求解速度。

ABSTRACT

In this paper, the real-time deployment of unmanned aerial vehicles (UAVs) as flying base stations (BSs) for optimizing the throughput of mobile users is investigated for UAV networks. This problem is formulated as a time-varying mixed-integer non-convex programming (MINP) problem, which is challenging to find an optimal solution in a short time with conventional optimization techniques. Hence, we propose an actor-critic-based (AC-based) deep reinforcement learning (DRL) method to find near-optimal UAV positions at every moment. In the proposed method, the process searching for the solution iteratively at a particular moment is modeled as a Markov decision process (MDP). To handle infinite state and action spaces and improve the robustness of the decision process, two powerful neural networks (NNs) are configured to evaluate the UAV position adjustments and make decisions, respectively. Compared with the heuristic algorithm, sequential least-squares programming and fixed UAVs methods, simulation results have shown that the proposed method outperforms these three benchmarks in terms of the throughput at every moment in UAV networks.

研究动机与目标

• 解决在移动用户存在下的动态环境中实时部署UAV-BSs的挑战。
• 克服传统优化技术在求解时变混合整数非凸规划（MINP）问题时的局限性。
• 开发一种可扩展、自适应的解决方案，在用户移动动态变化下最大化网络吞吐量。
• 通过基于MINP目标函数的数学基础推导奖励函数，提升鲁棒性和收敛性。
• 使UAV-BSs能够通过学习到的策略协同调整位置，降低干扰。

提出的方法

• 将UAV-BS部署问题建模为具有连续状态空间和动作空间的时变马尔可夫决策过程（MDP），其中状态和动作空间分别表示无人机和用户的位置。
• 采用演员-评论家深度强化学习框架，使用两个深度神经网络：演员网络用于输出动作策略，评论家网络用于评估状态-动作值。
• 奖励函数基于MINP优化目标数学推导，以确保收敛性并保持与吞吐量最大化的对齐。
• 使用Adam优化器对演员和评论家网络进行训练，学习率为0.0001，并采用批量归一化以防止过拟合。
• 使用经验回放机制，回放缓冲区容量为1×10^7，以稳定训练过程，目标网络每200个周期更新一次。
• 通过在无干扰条件下的系统吞吐量进行预训练，以加速收敛并改善初始探索。

实验结果

研究问题

• RQ1 如何在用户移动时实时动态重定位UAV-BSs，以最大化吞吐量？
• RQ2 演员-评论家DRL方法在动态UAV-BS部署中是否优于启发式方法和传统优化方法？
• RQ3 所提出的方法如何处理无人机定位中的连续、无限状态和动作空间？
• RQ4 数学推导的奖励函数对策略收敛性和性能有何影响？
• RQ5 所学策略在不同用户分布模式下的泛化能力如何？

主要发现

• 当用户呈二维高斯分布时，所提出的基于AC的DRL方法相比启发式算法，实现了27%更高的长期平均吞吐量。
• 在均匀用户分布场景下，该方法相比启发式方法将长期平均吞吐量提高了7%。
• 该方法在84%的时间槽中优于基于SLSQP的优化方法，展现出更强的实时适应能力。
• 所提方法的求解时间为1439.93秒，相比启发式算法的1916.90秒减少了24%。
• 随着用户密度增加，吞吐量最高可提升43.4%，表明在高移动性环境下具有出色的可扩展性和性能增益。
• UAV-BS智能体学习到了协同定位策略，有效降低了相互干扰，尤其在高斯分布用户场景中表现明显。