[论文解读] Adaptive Height Optimisation for Cellular-Connected UAVs using Reinforcement Learning

Erika Fonseca, Boris Galkin+3 more|arXiv (Cornell University)|Jul 27, 2020

UAV Applications and Optimization参考文献 20被引用 4

一句话总结

本文提出了一种基于深度强化学习（DRL）的方法，动态优化蜂窝连接无人机（UAV）的飞行高度，以最大化频谱效率和吞吐量。利用深度Q网络（DQN），无人机能够根据信道条件实时调整高度，在真实城市环境中实现高达41%的用户体验质量（QoS）提升，性能增益取决于基站密度和建筑物高度分布。

ABSTRACT

Providing reliable connectivity to cellular-connected UAV can be very challenging; their performance highly depends on the nature of the surrounding environment, such as density and heights of the ground BSs. On the other hand, tall buildings might block undesired interference signals from ground BSs, thereby improving the connectivity between the UAVs and their serving BSs. To address the connectivity of UAVs in such environments, this paper proposes a RL algorithm to dynamically optimise the height of a UAV as it moves through the environment, with the goal of increasing the throughput or spectrum efficiency that it experiences. The proposed solution is evaluated in two settings: using a series of generated environments where we vary the number of BS and building densities, and in a scenario using real-world data obtained from an experiment in Dublin, Ireland. Results show that our proposed RL-based solution improves UAVs QoS by 6% to 41%, depending on the scenario. We also conclude that, when flying at heights higher than the buildings, building density variation has no impact on UAV QoS. On the other hand, BS density can negatively impact UAV QoS, with higher numbers of BSs generating more interference and deteriorating UAV performance.

研究动机与目标

• 解决在高干扰和遮挡环境下，城市环境中无人机保持可靠蜂窝连接的挑战。
• 开发一种动态、自适应的高度控制机制，提升频谱效率和吞吐量，且无需依赖基础设施改造。
• 在合成环境和来自爱尔兰都柏林的真实测量数据中评估所提出的基于强化学习的解决方案。
• 研究基站密度和建筑物高度对无人机连接性和最优飞行高度的影响。
• 证明利用真实世界实验数据训练和验证无人机高度优化策略的可行性。

提出的方法

• 使用深度Q网络（DQN）智能体优化无人机高度，以最大化长期频谱效率。
• 状态空间包括历史SINR值、当前和前一时刻的高度、动作和奖励信号。
• 动作空间由离散的高度调整组成（例如，增加、减少或保持高度）。
• 奖励函数旨在反映频谱效率和吞吐量的提升，并对不稳定或干扰情况施加惩罚。
• 使用经验回放和目标网络训练DQN模型，以稳定学习过程。
• 通过将频谱效率替换为实测吞吐量作为奖励信号，并因数据限制省略邻近节点感知，将方法适配至真实世界数据。

实验结果

研究问题

• RQ1 基站密度如何影响城市环境中无人机的最优飞行高度？
• RQ2 建筑物密度如何影响无人机连接性以及高度自适应的有效性？
• RQ3 基于DRL的方法能否在真实世界城市场景中动态优化无人机高度，以提升频谱效率和吞吐量？
• RQ4 飞行在建筑物视 Line-of-Sight（LoS）以上对干扰和QoS有何影响？
• RQ5 RL智能体的性能与随机游走或固定高度飞行等基线策略相比如何？

主要发现

• 所提出的基于DRL的方法在不同场景下使无人机用户体验质量（QoS）提升6%至41%，具体取决于环境条件。
• 在高空飞行（高于建筑物屋顶）时，建筑物密度对无人机QoS无显著影响，因为视 Line-of-Sight（LoS）链路占主导地位。
• 更高的基站密度会增加干扰，对无人机性能产生负面影响，降低频谱效率。
• RL智能体学会在基站密度较高时提升高度，从而在频谱效率方面优于基线方法。
• RL智能体避免不必要的高度调整，做出智能且节能的决策，而非每一步都移动。
• 基于都柏林真实世界数据训练的模型具有良好的泛化能力，证明了利用实测数据进行基于强化学习的无人机优化的可行性。