[论文解读] Integrating LEO Satellites and Multi-UAV Reinforcement Learning for Hybrid FSO/RF Non-Terrestrial Networks

Ju-Hyung Lee, Jihong Park+2 more|arXiv (Cornell University)|Oct 20, 2020

UAV Applications and Optimization参考文献 45被引用 4

一句话总结

该论文提出了一种融合自由空间光通信（FSO）与射频（RF）的非地面网络（NTN），通过多智能体深度强化学习（MARL）集成低地球轨道（LEO）卫星与多架无人机（UAV）中继，以优化实时卫星-UAV关联、UAV轨迹及链路选择。该方案相比基准方案实现1.99倍更高的端到端总吞吐量和2.25倍更好的能量效率，且混合FSO/RF链路使峰值吞吐量和最坏情况吞吐量分别提升至最高62.56倍和21.09倍。

ABSTRACT

A mega-constellation of low-altitude earth orbit (LEO) satellites (SATs) and burgeoning unmanned aerial vehicles (UAVs) are promising enablers for high-speed and long-distance communications in beyond fifth-generation (5G) systems. Integrating SATs and UAVs within a non-terrestrial network (NTN), in this article we investigate the problem of forwarding packets between two faraway ground terminals through SAT and UAV relays using either millimeter-wave (mmWave) radio-frequency (RF) or free-space optical (FSO) link. Towards maximizing the communication efficiency, the real-time associations with orbiting SATs and the moving trajectories of UAVs should be optimized with suitable FSO/RF links, which is challenging due to the time-varying network topology and a huge number of possible control actions. To overcome the difficulty, we lift this problem to multi-agent deep reinforcement learning (MARL) with a novel action dimensionality reduction technique. Simulation results corroborate that our proposed SAT-UAV integrated scheme achieves 1.99x higher end-to-end sum throughput compared to a benchmark scheme with fixed ground relays. While improving the throughput, our proposed scheme also aims to reduce the UAV control energy, yielding 2.25x higher energy efficiency than a baseline method only maximizing the throughput. Lastly, thanks to utilizing hybrid FSO/RF links, the proposed scheme achieves up to 62.56x higher peak throughput and 21.09x higher worst-case throughput than the cases utilizing either RF or FSO links, highlighting the importance of co-designing SAT-UAV associations, UAV trajectories, and hybrid FSO/RF links in beyond-5G NTNs.

研究动机与目标

• 解决因移动的LEO卫星和UAV导致的非地面网络（NTNs）动态拓扑挑战。
• 在长距离、多跳卫星-UAV-地面中继系统中，最大化端到端吞吐量，同时最小化UAV控制能耗。
• 协同设计UAV轨迹控制、卫星-UAV关联及混合FSO/RF链路选择，以提升通信效率。
• 克服高维、时变NTN环境中实时控制的可扩展性与计算复杂性问题。
• 证明混合FSO/RF相比单一模式的RF或FSO链路，在峰值和最坏情况吞吐量性能上的优越性。

提出的方法

• 将SAT-UAV中继问题建模为具有集中式评论家架构的多智能体深度强化学习（MARL）任务。
• 提出一种新颖的动作维度降维技术，以管理由动态UAV位置和卫星关联带来的庞大动作空间。
• 采用马尔可夫决策过程建模系统，使UAV基于信道条件和链路距离学习最优轨迹及链路层决策（FSO或RF）。
• 采用毫米波RF（公式6）和FSO（公式10）的频谱效率模型，根据实时距离和信噪比指导链路选择。
• 设计联合优化端到端总吞吐量与能量效率（EE）的奖励函数，平衡数据速率与UAV控制成本。
• 通过带有经验回放和目标网络的深度Q网络（DQN）训练MARL智能体，实现在动态、非平稳环境中的稳定学习。

实验结果

研究问题

• RQ1 如何在动态NTN中实时优化LEO卫星与UAV之间的关联，以最大化端到端吞吐量？
• RQ2 在混合FSO/RF卫星-UAV中继网络中，UAV轨迹控制对系统吞吐量和能量效率有何影响？
• RQ3 在长距离NTN场景中，混合FSO/RF链路相比仅使用RF或仅使用FSO链路，性能提升程度如何？
• RQ4 所提出的结合动作维度降维的MARL框架，在多大程度上优于固定中继或单模式链路基线方案？
• RQ5 不同链路距离和信道条件如何影响SAT-UAV链路中FSO与RF链路的最优选择？

主要发现

• 所提出的SAT-UAV集成方案相比固定地面中继的基准方案，实现1.99倍更高的端到端总吞吐量。
• 与仅最大化吞吐量的基线相比，该方案将能量效率提升了2.25倍，证明了UAV控制能耗的有效降低。
• 混合FSO/RF链路相比仅使用FSO或仅使用RF链路，使峰值吞吐量最高提升62.56倍，最坏情况吞吐量最高提升21.09倍。
• 在SAT-UAV链路中，FSO在Src-LEO1和LEO2-Dst链路中被选择69.9%（平均距离约2099公里），而RF在短距离链路中占主导（例如，LEO1-UAV2链路中88.1%为RF，距离约907公里）。
• FSO/RF链路选择具有高度动态性和距离依赖性，FSO在距离约2400公里以内优于RF，而超过该距离后RF性能占优。
• MARL框架成功学习到吞吐量与能量效率之间的平衡，轨迹与关联决策高度依赖于所选目标函数。