[논문 리뷰] Integrating LEO Satellites and Multi-UAV Reinforcement Learning for Hybrid FSO/RF Non-Terrestrial Networks

Ju-Hyung Lee, Jihong Park외 2명|arXiv (Cornell University)|2020. 10. 20.

UAV Applications and Optimization참고 문헌 45인용 수 4

한 줄 요약

이 논문은 다중 에이전트 강화학습(MARL)을 활용하여 저궤도 위성(LEO)과 다중 무인항공기(UAV) 중계기를 통합한 하이브리드 FSO/RF 비지상 네트워크를 제안한다. 이는 실시간 위성-UAV 연결, UAV 항로, 링크 선택을 최적화한다. 제안된 방식은 기준 대비 1.99배 높은 종단 간 총 Throughput와 2.25배 높은 에너지 효율성을 달성하며, 하이브리드 FSO/RF 링크는 최고 성능 및 최악의 경우 성능을 각각 최대 62.56배와 21.09배 향상시킨다.

ABSTRACT

A mega-constellation of low-altitude earth orbit (LEO) satellites (SATs) and burgeoning unmanned aerial vehicles (UAVs) are promising enablers for high-speed and long-distance communications in beyond fifth-generation (5G) systems. Integrating SATs and UAVs within a non-terrestrial network (NTN), in this article we investigate the problem of forwarding packets between two faraway ground terminals through SAT and UAV relays using either millimeter-wave (mmWave) radio-frequency (RF) or free-space optical (FSO) link. Towards maximizing the communication efficiency, the real-time associations with orbiting SATs and the moving trajectories of UAVs should be optimized with suitable FSO/RF links, which is challenging due to the time-varying network topology and a huge number of possible control actions. To overcome the difficulty, we lift this problem to multi-agent deep reinforcement learning (MARL) with a novel action dimensionality reduction technique. Simulation results corroborate that our proposed SAT-UAV integrated scheme achieves 1.99x higher end-to-end sum throughput compared to a benchmark scheme with fixed ground relays. While improving the throughput, our proposed scheme also aims to reduce the UAV control energy, yielding 2.25x higher energy efficiency than a baseline method only maximizing the throughput. Lastly, thanks to utilizing hybrid FSO/RF links, the proposed scheme achieves up to 62.56x higher peak throughput and 21.09x higher worst-case throughput than the cases utilizing either RF or FSO links, highlighting the importance of co-designing SAT-UAV associations, UAV trajectories, and hybrid FSO/RF links in beyond-5G NTNs.

연구 동기 및 목표

• 이동하는 LEO 위성과 UAV를 포함한 비지상 네트워크(NTNs)의 동적 토폴로지 문제를 해결한다.
• 장거리, 다중 홉 위성-UAV-지상 중계 시스템에서 종단 간 총 Throughput를 극대화하고 UAV 제어 에너지를 최소화한다.
• UAV 항로 제어, 위성-UAV 연결, 하이브리드 FSO/RF 링크 선택을 공동 설계하여 통신 효율을 향상시킨다.
• 시간에 따라 변화하는 고차원의 비지상 네트워크 환경에서 실시간 제어의 확장성과 계산 복잡도 문제를 해결한다.
• 최고 성능 및 최악의 경우 성능 측면에서 하이브리드 FSO/RF가 단일 모드의 RF 또는 FSO 링크보다 뛰어나다는 것을 입증한다.

제안 방법

• 중앙 집중식 크리틱 아키텍처를 사용하여 SAT-UAV 중계 문제를 다중 에이전트 강화학습(MARL) 문제로 수식화한다.
• 동적인 UAV 위치와 위성 연결으로 인한 큰 행동 공간을 관리하기 위해 새로운 행동 차원 감소 기법을 도입한다.
• UAV가 채널 조건과 링크 거리에 기반해 최적의 항로와 링크 계층 결정(FSO 또는 RF)을 학습할 수 있도록 마르코프 결정 과정을 모델링한다.
• mmWave RF(식 6)와 FSO(식 10)의 스펙트럼 효율 모델을 사용하여 실시간 거리와 신호 대 잡음비에 기반한 링크 선택을 안내한다.
• 종단 간 총 Throughput와 에너지 효율(EE)을 동시에 최적화하는 보상 함수를 사용하여 데이터 전송률과 UAV 제어 비용을 균형 잡는다.
• 경험 재생과 타겟 네트워크를 사용한 딥 Q-네트워크(DQN)를 통해 MARL 에이전트를 훈련시켜 동적이고 비정적 환경에서 안정적인 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 동적 NTN 환경에서 LEO 위성과 UAV 간 실시간 연결을 어떻게 최적화하여 종단 간 총 Throughput를 극대화할 수 있는가?
• RQ2 하이브리드 FSO/RF 위성-UAV 중계 네트워크에서 UAV 항로 제어는 시스템 Throughput와 에너지 효율성에 어떤 영향을 미치는가?
• RQ3 장거리 NTN 환경에서 하이브리드 FSO/RF 링크 통합은 단일 모드의 RF 또는 FSO 링크 사용 대비 성능을 어떻게 향상시키는가?
• RQ4 행동 차원 감소 기법을 적용한 제안된 MARL 프레임워크는 고정 중계 또는 단일 모드 링크 기준 대비 얼마나 뛰어난 성능을 보이는가?
• RQ5 다양한 링크 거리와 채널 조건에서 SAT-UAV 체인에서 FSO와 RF 링크 간 최적의 선택은 어떻게 영향을 받는가?

주요 결과

• 제안된 SAT-UAV 통합 기법은 고정 지상 중계기 기반 기준 대비 종단 간 총 Throughput를 1.99배 높게 달성한다.
• 이 기법은 단순히 Throughput를 극대화하는 데에만 집중하는 기준 대비 에너지 효율을 2.25배 향상시켜 UAV 제어 에너지 절감이 효과적으로 이루어졌음을 보여준다.
• 하이브리드 FSO/RF 링크는 단일 FSO 또는 단일 RF 링크 사용 대비 최고 성능에서 최대 62.56배 높은 Throughput와 최악의 경우에서 21.09배 높은 Throughput를 기록한다.
• SAT-UAV 경로에서 FSO는 Src-LEO1 및 LEO2-Dst 링크의 69.9%에서 선택되며(평균 거리 약 2099km), 짧은 링크에서는 RF가 지배적이다(예: LEO1-UAV2에서 약 907km 거리에서 88.1%가 RF).
• FSO/RF 링크 선택은 매우 동적이고 거리에 따라 달라지며, 약 2400km 이하에서는 FSO가 RF를 능가하고, 그 이상 거리에서는 RF가 우세하다.
• MARL 프레임워크는 Throughput와 에너지 효율성을 균형 있게 학습하며, 항로 및 연결 결정은 선택된 목적 함수에 크게 의존한다.