[논문 리뷰] 5G Network on Wings: A Deep Reinforcement Learning Approach to the UAV-based Integrated Access and Backhaul

Hongyi Zhang, Zhiqiang Qi외 4명|arXiv (Cornell University)|2022. 02. 04.

UAV Applications and Optimization인용 수 6

한 줄 요약

이 논문은 통합 액세스 및 백홀(IAB) 기술을 사용하여 재난과 같은 임무 핵심(MC) 시나리오에서 다수의 드론 기반 기지국(UAV-BS)의 3차원 위치를 자율적으로 최적화하기 위해 탈중앙화된 딥 강화학습(DecRL) 알고리즘인 DecRL-AE&VAS를 제안한다. 적응형 탐색과 가치 기반 행동 선택을 융합함으로써, UAV-BS는 사용자 이동성에 대응해 동적으로 위치를 조정하여 높은 사용자 스루풋과 낮은 패킷 손실률을 유지할 수 있으며, 이로써 전역 최적해의 5–6% 이내 성능을 달성한다.

ABSTRACT

Fast and reliable wireless communication has become a critical demand in human life. In the case of mission-critical (MC) scenarios, for instance, when natural disasters strike, providing ubiquitous connectivity becomes challenging by using traditional wireless networks. In this context, unmanned aerial vehicle (UAV) based aerial networks offer a promising alternative for fast, flexible, and reliable wireless communications. Due to unique characteristics such as mobility, flexible deployment, and rapid reconfiguration, drones can readily change location dynamically to provide on-demand communications to users on the ground in emergency scenarios. As a result, the usage of UAV base stations (UAV-BSs) has been considered an appropriate approach for providing rapid connection in MC scenarios. In this paper, we study how to control multiple UAV-BSs in both static and dynamic environments. We use a system-level simulator to model an MC scenario in which a macro BS of a cellular network is out of service and multiple UAV-BSs are deployed using integrated access and backhaul (IAB) technology to provide coverage for users in the disaster area. With the data collected from the system-level simulation, a deep reinforcement learning algorithm is developed to jointly optimize the three-dimensional placement of these multiple UAV-BSs, which adapt their 3-D locations to the on-ground user movement. The evaluation results show that the proposed algorithm can support the autonomous navigation of the UAV-BSs to meet the MC service requirements in terms of user throughput and drop rate.

연구 동기 및 목표

• 기존 기지국이 장애가 발생한 재난 상황에서 임무 핵심 사용자에게 신뢰성 있고 고속도의 연결성을 유지하는 데 도전하는 문제를 해결하기 위해.
• 동적인 사용자 이동성 기반 환경에서 3차원 UAV-BS 위치와 백홀 링크 관리를 동시에 최적화하기 위해.
• 중앙 집중식 조율 없이도 자율적인 UAV-BS 항법을 가능하게 하는 확장성 있고 탈중앙화된 강화학습 프레임워크를 개발하기 위해.
• 사용자 분포와 네트워크 조건의 변화에 자가 적응할 수 있도록 함으로써 비상 상황에서 시스템의 내재성과 서비스 품질을 향상시키기 위해.

제안 방법

• 5G NR 기반의 임무 핵심 시나리오를 시뮬레이션하는 시스템 수준 시뮬레이터를 구축하였으며, 손상된 매크로 기지국과 다수의 UAV-BS를 통합 액세스 및 백홀(IAB) 기술로 구현하였다.
• 적응형 탐색과 가치 기반 행동 선택 전략을 통합한 새로운 탈중앙화된 딥 강화학습(DecRL) 알고리즘인 DecRL-AE&VAS를 제안하였다.
• 샘플 효율성을 향상시키고 UAV-BS 에이전트 간 지식 공유를 가능하게 하기 위해 공유된 경험 재생 버퍼와 모델 공유 메커니즘을 사용하였다.
• 상태 공간은 사용자 위치, 스루풋, 패킷 손실률을 포함하며, 행동 공간은 3차원 UAV-BS 위치 조정(x, y, z)을 제어하고, 보상 함수는 여섯 가지 성능 지표의 가중 합으로 구성되었다.
• 학습 안정성과 수렴성을 향상시키기 위해 이중 듀얼링 DQN 아키텍처를 활용하여 Q-값을 추정하고 행동 선택을 안내하였다.
• 탈중앙화된 의사결정을 통해 다중 에이전트 간 협업을 지원함으로써 실시간 동적 환경에서 다수의 UAV-BS를 확장 가능한 방식으로 구현할 수 있었다.

실험 결과

연구 질문

• RQ1 다양한 사용자 이동성에 대응하는 동적인 임무 핵심 환경에서 다수의 UAV-BS를 자율적이고 효율적으로 재위치 배치하여 고속도 스루풋과 낮은 패킷 손실률을 유지할 수 있는가?
• RQ2 사용자 이동성 하에서 UAV-BS 3차원 위치 최적화를 위해 탈중앙화된 강화학습 접근법이 중심 집중형 또는 기준선 RL 모델보다 얼마나 뛰어난 성능을 보일 수 있는가?
• RQ3 제안된 적응형 탐색 및 가치 기반 행동 선택 전략이 변화하는 환경에서 학습 효율성과 수렴 속도 향상에 얼마나 효과적인가?
• RQ4 과거 경험을 재사용함으로써 DecRL-AE&VAS 알고리즘이 최소한의 학습 반복 수로 근사 최적 성능에 도달할 수 있는가?
• RQ5 UAV-BS 배치가 최적 구성이거나 UAV가 없는 경우에 비해 시스템 성능에 어떤 영향을 미치는가?

주요 결과

• 모든 검증 단계에서 DecRL-AE&VAS 알고리즘이 전역 최적해의 5–6% 이내의 보상 값을 달성하여 근사 최적 성능을 입증하였다.
• 매크로 기지국 장애 발생 후 세 대의 UAV-BS를 도입함으로써, UAV-BS가 없는 경우에 비해 시스템 성능이 약 80% 향상되었으며, 특히 다운링크 및 업링크 스루풋과 패킷 손실률에서 뚜렷한 개선이 관찰되었다.
• 제안된 방법은 최적해 대비 10 Mbps의 사용자 스루풋과 2–3% 이하의 패킷 손실률을 달성하여 뛰어난 성능 일관성을 보였다.
• 과거 경험 재사용과 가치 기반 행동 선택을 통해 학습 반복 수를 줄여 학습 효율성을 향상시켰다.
• 탈중앙화된 아키텍처는 중앙 집중식 조율 없이도 다수의 UAV-BS를 확장 가능한 방식으로 구현할 수 있도록 하여 산업 규모의 응용을 지원한다.
• 세 대의 UAV-BS가 MC 사용자를 지원할 경우, 단일 매크로 기지국 대비 상향링크 5% 스루풋이 향상되었으며, 이는 더 나은 공간 분포와 근접성 덕분이었다.