[论文解读] Deep Reinforcement Learning for UAV Navigation through Massive MIMO

Hongji Huang, Yuchun Yang+4 more|arXiv (Cornell University)|Jan 30, 2019

UAV Applications and Optimization被引用 1

一句话总结

该论文提出了一种基于深度Q网络（DQN）的强化学习框架，通过基于实时接收信号强度动态选择最佳无人机-地面链路，优化大规模MIMO系统中的无人机导航。该方法通过端到端学习最优导航策略，相比现有方案实现了更优的覆盖范围和更快的收敛速度。

ABSTRACT

Unmanned aerial vehicles (UAVs) technique has been recognized as a promising solution in future wireless connectivity from the sky, and UAV navigation is one of the most significant open research problems, which has attracted wide interest in the research community. However, the current UAV navigation schemes are unable to capture the UAV motion and select the best UAV-ground links in real time, and these weaknesses overwhelm the UAV navigation performance. To tackle these fundamental limitations, in this paper, we merge the state-of-theart deep reinforcement learning with the UAV navigation through massive multiple-input-multiple-output (MIMO) technique. To be specific, we carefully design a deep Q-network (DQN) for optimizing the UAV navigation by selecting the optimal policy, and then we propose a learning mechanism for processing the DQN. The DQN is trained so that the agent is capable of making decisions based on the received signal strengths for navigating theUAVs with the aid of the powerful Q-learning. Simulation results are provided to corroborate the superiority of the proposed schemes in terms of the coverage and convergence compared with those of the other schemes.

研究动机与目标

• 解决当前无人机导航方案在动态选择最优无人机-地面链路方面的局限性。
• 利用深度强化学习实现实时决策，提升无人机导航能力。
• 改善无人机支持的大规模MIMO系统的网络覆盖范围和收敛速度。
• 设计一种学习机制，使DQN智能体能够自适应地优化无人机飞行策略。

提出的方法

• 设计了一种深度Q网络（DQN），基于接收信号强度指示（RSSI）学习最优导航策略。
• 采用强化学习框架训练DQN智能体，将状态观测（如RSSI）映射为动作决策（如飞行方向或高度）。
• 学习机制处理状态-动作对，以更新Q值估计并随时间优化策略选择。
• 系统利用大规模MIMO技术提供丰富的空间分集和可靠的信道状态信息，供DQN智能体使用。
• 在仿真环境中训练DQN，以优化与覆盖范围和链路质量相关的长期累积奖励。

实验结果

研究问题

• RQ1 深度强化学习如何提升大规模MIMO网络中无人机的实时导航性能？
• RQ2 将接收信号强度作为状态输入对无人机链路选择性能有何影响？
• RQ3 所提出的基于DQN的方法与传统无人机导航方案相比，在覆盖范围和收敛性方面表现如何？
• RQ4 在动态信道条件下，DQN智能体能否学会自适应地选择最优无人机-地面链路？

主要发现

• 所提出的基于DQN的导航方案在仿真中相比基线方法实现了更优的网络覆盖范围。
• 学习过程收敛速度优于传统导航算法，表明训练效率得到提升。
• DQN智能体成功学习到基于实时RSSI反馈选择最优无人机-地面链路。
• 将大规模MIMO与深度强化学习结合，显著增强了无人机导航的鲁棒性和自适应能力。