[논문 리뷰] Cooperative Multi-Agent Deep Reinforcement Learning for Reliable and Energy-Efficient Mobile Access via Multi-UAV Control

Chanyoung Park, Park, Soohyun외 3명|arXiv (Cornell University)|2022. 10. 03.

UAV Applications and Optimization인용 수 10

한 줄 요약

이 논문은 60 GHz mmWave 네트워크에서 다중 UAV 기지국(UAV-BS) 위치 최적화를 위해 CommNet 기반 아키텍처를 채택한 협업 다중 에이전트 강화학습(MADRL) 알고리즘을 제안한다. 이는 지능형 교통 시스템(ITS)을 위한 신뢰성 있고 에너지 효율적인 이동 통신을 가능하게 한다. QoS 인지 보상과 UAV 에너지 모델을 통합함으로써, 전체 CommNet 기반 기준 대비 214.2% 낮은 계산 비용을 기록하면서도 서비스 신뢰성과 수렴 성능에서 뛰어난 성능을 달성하였으며, 기존 방법보다 연결성과 내성에 뛰어나다.

ABSTRACT

This paper addresses a novel multi-agent deep reinforcement learning (MADRL)-based positioning algorithm for multiple unmanned aerial vehicles (UAVs) collaboration (i.e., UAVs work as mobile base stations). The primary objective of the proposed algorithm is to establish dependable mobile access networks for cellular vehicle-to-everything (C-V2X) communication, thereby facilitating the realization of high-quality intelligent transportation systems (ITS). The reliable mobile access services can be achieved in following two ways, i.e., i) energy-efficient UAV operation and ii) reliable wireless communication services. For energy-efficient UAV operation, the reward of our proposed MADRL algorithm contains the features for UAV energy consumption models in order to realize efficient operations. Furthermore, for reliable wireless communication services, the quality of service (QoS) requirements of individual users are considered as a part of rewards and 60GHz mmWave radio is used for mobile access. This paper considers the 60GHz mmWave access for utilizing the benefits of i) ultra-wide-bandwidth for multi-Gbps high-speed communications and ii) high-directional communications for spatial reuse that is obviously good for densely deployed users. Lastly, the comprehensive and data-intensive performance evaluation of the proposed MADRL-based algorithm for multi-UAV positioning is conducted in this paper. The results of these evaluations demonstrate that the proposed algorithm outperforms other existing algorithms.

연구 동기 및 목표

• 지능형 교통 시스템(ITS)에서 다중 UAV 네트워크를 활용해 차량 간 통신(V2X)을 위한 신뢰성 있고 에너지 효율적인 이동 통신을 가능하게 하기 위해.
• 공중 세포망에서 UAV 에너지 제약과 동적 이동성에 의한 QoS 열화 문제를 해결하기 위해.
• UAV-BS가 고장 발생 및 사용자 수요 변화에 대응해 적응적으로 재위치할 수 있도록 협업 다중 에이전트 강화학습 프레임워크를 설계하기 위해.
• 초광대역 및 고방향성 공간 재사용을 지원하기 위해 60 GHz mmWave 통신을 활용하여 고밀도 사용자 배치를 지원하기 위해.
• 하이브리드 DNN-CommNet 아키텍처를 통해 계산 오버헤드를 최소화하면서도 높은 서비스 신뢰성을 달성하기 위해.

제안 방법

• 제안된 방법은 상호 UAV-BS 간 협업을 가능하게 하기 위해 통신 신경망(CommNet) 기반의 중심집중형 훈련 및 분산실행(CTDE) 프레임워크를 활용한다.
• 통신 및 계산 효율성을 균형 있게 유지하기 위해, 하나의 CommNet 기반 리더 UAV-BS와 세 개의 DNN 기반 팔로워 UAV-BS를 포함하는 하이브리드 아키텍처를 사용한다.
• 보상 함수는 두 가지 목표를 통합한다: 개별 사용자 단말(UE)의 QoS 만족도와 UAV 에너지 효율성으로, 에너지 소비 함수를 활용해 모델링한다.
• 초광대역 및 고방향성 특성을 활용하기 위해 60 GHz mmWave 접근을 적용하여 공간 재사용과 고속도 전송을 실현한다.
• 다중 에이전트 환경에서 부분 관측 가능한 상태를 처리하기 위해, 부분 관측 마르코프 결정 과정(POMDP) 수식을 사용해 시스템을 훈련한다.
• 동적 조건, 즉 UAV-BS 고장 및 사용자 이동성 포함된 데이터 집약적인 시뮬레이션을 통해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 동적 사용자 이동성과 환경적 요동이 발생하는 상황에서 다중 UAV-BS 시스템을 어떻게 조율하여 신뢰성 있는 V2X 통신을 확보할 수 있는가?
• RQ2 다중 에이전트 공중 기지국 배치에서 서비스 신뢰성과 UAV 에너지 효율성 사이의 최적의 트레이드오프는 무엇인가?
• RQ3 하이브리드 DNN-CommNet 아키텍처는 순수 DNN 또는 순수 CommNet 기반 기준 대비 계산 비용과 성능 측면에서 어떻게 비교되는가?
• RQ4 MADRL 기반 시스템이 운영 중 비에이전트 UAV-BS가 고장 났을 때, 얼마나 오랫동안 연결성과 QoS를 유지할 수 있는가?
• RQ5 60 GHz mmWave 통신은 고밀도 도심 ITS 환경에서 공간 재사용과 전송량을 향상시키는 데 어떤 역할을 하는가?

주요 결과

• 제안된 방법은 전체 CommNet 기반 기준(Comp2) 대비 214.2% 낮은 계산 비용을 기록하면서도 서비스 신뢰성과 보상 수렴 성능에서 뛰어난 성능을 유지한다.
• DNN 전용 기준(Comp1) 대비 알고리즘이 249.5% 더 높은 계산 비용을 유발하지만, 연결성과 내성에 있어 뚜렷한 우월성을 보인다.
• UAV-BS 고장 발생 시, 에이전트 UAV-BS는 고장난 비에이전트 UAV-BS의 영역을 메우기 위해 동적으로 재위치하며, t=30에서 t=35 사이에 한 에이전트가 왼쪽으로 이동하여 복구한다.
• 시간이 지남에 따라 고장난 비에이전트 UAV-BS가 증가함에 따라 UAV-BS는 고도를 높이며 커버리지 반경을 넓히고 더 많은 UE를 서비스한다. 이는 path loss 및 커버리지 모델과 일치한다.
• 수렴 후 시스템은 안정적인 최적 위치를 유지하며 예기치 못한 고장과 동적 조건에 대한 강력한 적응성을 보여준다.
• 포괄적인 시뮬레이션을 통해 제안된 MADRL/CommNet 기반 알고리즘이 기존 방법 대비 서비스 품질, 신뢰성, 에너지 효율성 측면에서 뛰어나다는 것이 확인되었다.