[논문 리뷰] Integrating LEO Satellite and UAV Relaying via Reinforcement Learning for Non-Terrestrial Networks

Ju-Hyung Lee, Jihong Park외 2명|arXiv (Cornell University)|2020. 05. 26.

UAV Applications and Optimization참고 문헌 18인용 수 10

한 줄 요약

이 논문은 비지구 위성 네트워크에서 저궤도 위성(LEO) 연결 및 고고도 플랫폼(HAP) 드론 무인항공기(UAV) 이동성을 동시에 최적화하기 위한 딥 강화학습(DRL) 기반 프레임워크를 제안한다. 이로 인해 직접 전송 대비 최대 5.74배 높은 엔드 투 엔드 데이터 전송 속도를 달성한다. 시간 변화하는 위성 네트워크 구조에서의 확장성을 관리하기 위해 근접한 위성들에 집중하는 새로운 행동 차원 감소 기법을 도입하였다.

ABSTRACT

A mega-constellation of low-earth orbit (LEO) satellites has the potential to enable long-range communication with low latency. Integrating this with burgeoning unmanned aerial vehicle (UAV) assisted non-terrestrial networks will be a disruptive solution for beyond 5G systems provisioning large scale three-dimensional connectivity. In this article, we study the problem of forwarding packets between two faraway ground terminals, through an LEO satellite selected from an orbiting constellation and a mobile high-altitude platform (HAP) such as a fixed-wing UAV. To maximize the end-to-end data rate, the satellite association and HAP location should be optimized, which is challenging due to a huge number of orbiting satellites and the resulting time-varying network topology. We tackle this problem using deep reinforcement learning (DRL) with a novel action dimension reduction technique. Simulation results corroborate that our proposed method achieves up to 5.74x higher average data rate compared to a direct communication baseline without SAT and HAP.

연구 동기 및 목표

• 시간 변화하는 위성 및 UAV 네트워크 구조를 가진 장거리 비지구 네트워크에서 엔드 투 엔드(E2E) 전송 속도를 최대화하는 문제를 해결하기 위해.
• 시간 변화하는 네트워크 환경에서 고차원 상태 및 행동 공간을 가진 상황에서 위성 연결 및 UAV 궤적을 공동으로 최적화하기 위해.
• 모델에 의존하지 않는 딥 강화학습을 사용하여 대규모 위성 편대와 이동 가능한 UAV의 계산 복잡도를 극복하기 위해.
• 원천 단말기 근처의 위성들만을 대상으로 위성 연결 후보를 제한함으로써 행동 공간의 차원을 감소시키기 위해.
• 이동 가능한 HAP 릴레이가 고정 릴레이 및 직접 전송보다 스펙트럼 효율성과 데이터 전송 속도 면에서 뛰어난 성능을 보임을 검증하기 위해.

제안 방법

• 엔드 투 엔드 전송 속도 최적화 문제를 마르코프 결정 과정(MDP)으로 수식화하였으며, 상태 공간은 단말기 위치, 위성 위치 및 채널 조건로 정의된다.
• 딥 Q 네트워크(DQN) 강화학습을 적용하여 실시간으로 위성 연결 및 UAV 궤적 최적화 정책을 학습한다.
• 원천에서 가장 가까운 몇 대의 위성들만을 대상으로 위성 연결 후보를 제한함으로써 계산 부담을 줄이는 행동 차원 감소 기법을 도입한다.
• 원천-위성-HAP-수신기 체인의 업링크 및 다운링크 전송 속도 합계로부터 유도된 엔드 투 엔드 스펙트럼 효율성에 기반한 보상 함수를 사용한다.
• 학습 안정성 향상과 수렴성 향상을 위해 경험 재생과 타겟 네트워크를 갖춘 더블 DQN 아키텍처를 활용한다.
• HAP를 제어 가능한 3차원 위치를 가진 이동 릴레이로 모델링하여 위성 및 수신기와의 강력한 링크를 유지하기 위해 궤적을 최적화한다.

실험 결과

연구 질문

• RQ1 시간 변화하는 위성 네트워크 구조를 가진 비지구 네트워크에서 LEO 위성 연결 및 UAV 이동성의 공동 최적화가 엔드 투 엔드 전송 속도에 어떻게 기여하는가?
• RQ2 장거리 위성 통신에서 이동 가능한 HAP 릴레이를 사용할 경우 고정 릴레이 또는 직접 전송 대비 어떤 영향을 미치는가?
• RQ3 딥 강화학습이 메가-편대와 이동 가능한 UAV에서 유도하는 고차원 상태 및 행동 공간을 효과적으로 관리할 수 있는가?
• RQ4 원천 단말기 근처의 위성들만을 대상으로 하는 행동 차원 감소 기법이 학습 성능과 확장성에 어떤 영향을 미치는가?
• RQ5 제안된 이동 가능한 HAP 릴레이 방식은 기준 방식 대비 스펙트럼 효율성에서 얼마나 향상되는가?

주요 결과

• 제안된 DRL 기반 방법은 어떤 릴레이 없이도 직접 전송 대비 평균 엔드 투 엔드 전송 속도를 5.74배 높였다.
• 직접 전송 대비 스펙트럼 효율성이 298.61% 향상되어 릴레이 다각화의 핵심적 역할을 입증하였다.
• 이동 가능한 HAP 릴레이 방식은 고정 HAP 릴레이 대비 13.04% 높은 스펙트럼 효율성을 달성하여 이동성의 이점을 입증하였다.
• 시뮬레이션 결과, DQN 에이전트는 낮은 손실과 점차 증가하는 평균 보상으로 수렴함을 보여, 안정적인 정책 학습을 확인하였다.
• 최적의 연결 및 궤적은 항상 거리에 기반하지는 않는다. DQN은 그림 4c 및 4h에서 보듯이 체인의 가장 약한 링크를 향상시키는 링크를 선택한다.
• HAP 궤적은 원천과 수신기 사이의 영역을 순환하는 타원형 패턴을 형성하며, 위성 핸드오버 및 채널 변화에 동적으로 대응한다.