[논문 리뷰] Simultaneous Navigation and Radio Mapping for Cellular-Connected UAV with Deep Reinforcement Learning

Yong Zeng, Xiaoli Xu외 2명|arXiv (Cornell University)|2020. 03. 17.

UAV Applications and Optimization참고 문헌 35인용 수 10

한 줄 요약

이 논문은 셀룰러 연결 드론 무인 항공기(UAV)를 위한 심층 강화학습(DRL) 기반 프레임워크인 동시 항법 및 라디오 맵핑(Simultaneous Navigation and Radio Mapping, SNARM)을 제안한다. 이는 커버리지 인식 항로 계획을 가능하게 한다. UAV 신호 측정치를 활용해 항법 정책과 예측 라디오 맵을 동시에 학습함으로써, 직접 RL에 비해 실제 비행 에피소드를 약 69% 감소시키며, 커버리지 홀을 피하면서 임무 시간과 장애 지속 시간을 최소화하는 데 뛰어난 성능을 달성한다.

ABSTRACT

Cellular-connected unmanned aerial vehicle (UAV) is a promising technology to unlock the full potential of UAVs in the future. However, how to achieve ubiquitous three-dimensional (3D) communication coverage for the UAVs in the sky is a new challenge. In this paper, we tackle this challenge by a new coverage-aware navigation approach, which exploits the UAV's controllable mobility to design its navigation/trajectory to avoid the cellular BSs' coverage holes while accomplishing their missions. We formulate an UAV trajectory optimization problem to minimize the weighted sum of its mission completion time and expected communication outage duration, and propose a new solution approach based on the technique of deep reinforcement learning (DRL). To further improve the performance, we propose a new framework called simultaneous navigation and radio mapping (SNARM), where the UAV's signal measurement is used not only for training the deep Q network (DQN) directly, but also to create a radio map that is able to predict the outage probabilities at all locations in the area of interest. This thus enables the generation of simulated UAV trajectories and predicting their expected returns, which are then used to further train the DQN via Dyna technique, thus greatly improving the learning efficiency.

연구 동기 및 목표

• 지상 기반 기지국 배치로 인해 천정에 광범위한 하늘 커버리지가 없는 UAV의 비균일한 3차원 셀룰러 커버리지 문제를 해결한다.
• 단순화되고 정확도가 떨어지는 통신 모델에 의존하는 전통적인 최적화 기반 UAV 항로 설계의 한계를 극복한다.
• 단지 UAV 신호 측정치만을 사용하여 자율적이고 커버리지 인식 항로 탐색이 가능한 데이터 효율적이고 종단 간 학습 프레임워크를 개발한다.
• 학습 과정에 학습된 라디오 맵에서 유도된 시뮬레이션 경험을 통합하여 강화학습의 샘플 효율성을 향상시킨다.
• 복잡한 실제 라디오 환경에서 임무 목표를 달성하면서 커버리지 홀을 피하고 통신 장애 시간을 최소화할 수 있도록 UAV를 가능하게 한다.

제안 방법

• 실시간 신호 측정치를 직접 항법 행동으로 매핑하기 위해 다이어그램 듀얼링 더블 딥 Q 네트워크(dueling DDQN)와 다중 스텝 학습을 사용한 직접적인 심층 강화학습(DRL) 접근법을 제안한다.
• UAV 신호 측정치에서 라디오 맵을 동시에 학습하고 환경 전역에서의 장애 확률을 예측하는 SNARM 프레임워크를 도입한다.
• 학습된 라디오 맵에서 합성 트래잭터리와 보상을 생성하기 위해 다이나 기법을 활용하며, 이를 실제 경험과 융합하여 DQN 학습 효율성을 향상시킨다.
• 학습 중 탐색과 이용의 균형을 맞추기 위해 실제 스텝당 시뮬레이션 스텝 수를 동적으로 조절(에피소드 진행에 따라 1에서 10으로 증가)한다.
• 최신 기술인 듀얼링 DDQN 아키텍처를 활용하여 가치 함수와 이득 함수를 분리함으로써 정책 학습의 안정성과 성능을 향상시킨다.
• 임무 완료 시간과 예상 통신 장애 지속 시간을 통합한 조밀한 보상 함수를 사용하여 DQN을 학습하며, 낮은 신호 품질에 대해 벌점을 적용한다.

실험 결과

연구 질문

• RQ1 실시간 신호 측정치만을 사용하여 사전 라디오 환경 지식 없이 DRL 기반 접근법이 효과적으로 커버리지 인식 UAV 항로 탐색을 학습할 수 있는가?
• RQ2 학습된 라디오 맵을 DRL 학습 과정에 통합할 경우, 직접 종단 간 RL에 비해 샘플 효율성과 성능이 어떻게 향상되는가?
• RQ3 SNARM 프레임워크는 효과적인 정책 학습을 위해 필요한 실제 UAV 비행 에피소드 수를 얼마나 줄일 수 있는가?
• RQ4 학습된 라디오 맵은 방문하지 않은 영역의 장애 확률을 정확히 예측할 수 있으며, 이를 통해 시뮬레이션 경험을 통한 효과적인 경로 계획이 가능한가?
• RQ5 SNARM 프레임워크는 저커버리지 지역에서의 좁고 고대역폭 라디오 '브리지'를 탐지하고 이를 효과적으로 통과할 수 있는가?

주요 결과

• SNARM는 평균 수익이 -1500에 도달하기 위해 필요한 실제 UAV 비행 에피소드 수를 직접 RL의 약 3200에서 약 1000으로 줄여 실세계 데이터 수집을 69% 감소시켰다.
• 5000개의 학습 에피소드 후 SNARM는 수익 -1486을 달성하여 직접 RL의 수익 -1089를 초월하며 뛰어난 정책 성능을 입증했다.
• 학습 후 200개의 에피소드가 지난 시점에서 라디오 맵의 평균 제곱오차(MSE)가 87.1% 감소하여, 제한된 데이터로도 빠른 수렴과 고품질의 맵 학습이 가능함을 보여주었다.
• SNARM 프레임워크는 좁고 고대역폭 라디오 브리지(예: x ≈ 1000 m 및 y ≈ 1000–1700 m 부근)를 성공적으로 식별하고 이를 통과하는 데 성공하여 환경의 라디오 특징을 효과적으로 활용할 수 있음을 확인했다.
• 초기 학습이 맵 정확도 부족으로 인해 느렸음에도 불구하고, 약 1000개의 에피소드 이후 SNARM는 직접 RL을 능가하는 성능을 보였으며, 라디오 맵에서 유도된 시뮬레이션 경험의 이점을 입증했다.
• SNARM의 이동 평균 수익은 안정적인 상승 추세를 보이며 시간이 지남에 따라 안정적이고 효과적인 정책 향상이 이루어지고 있음을 나타냈다.