[논문 리뷰] Path Design for Cellular-Connected UAV with Reinforcement Learning

Yong Zeng, Xiaoli Xu|arXiv (Cornell University)|2019. 05. 09.

UAV Applications and Optimization참고 문헌 12인용 수 6

한 줄 요약

이 논문은 셀룰러 연결 드론 무인 항공기(UAV)를 위한 강화학습(RL) 기반 경로 설계를 제안하여 임무 시간을 최소화하면서 셀룰러 커버리지 홀을 피한다. 시간 차분 학습과 타일 코딩을 사용한 함수 근사 기법을 통해 원시 신호 세기 데이터에서 직접 학습하며, 정확한 모델링 가정을 최소화하면서도 복잡한 도심 환경에서 최적에 가까운 성능을 달성한다.

ABSTRACT

This paper studies the path design problem for cellular-connected unmanned aerial vehicle (UAV), which aims to minimize its mission completion time while maintaining good connectivity with the cellular network. We first argue that the conventional path design approach via formulating and solving optimization problems faces several practical challenges, and then propose a new reinforcement learning-based UAV path design algorithm by applying \emph{temporal-difference} method to directly learn the \emph{state-value function} of the corresponding Markov Decision Process. The proposed algorithm is further extended by using linear function approximation with tile coding to deal with large state space. The proposed algorithms only require the raw measured or simulation-generated signal strength as the input and are suitable for both online and offline implementations. Numerical results show that the proposed path designs can successfully avoid the coverage holes of cellular networks even in the complex urban environment.

연구 동기 및 목표

• 정확한 채널 모델과 전역 지식에 의존하는 전통적인 최적화 기반 UAV 경로 설계의 한계를 해결하기 위해.
• 세부적인 전파 또는 안테나 모델이 필요 없이 UAV가 통신 인식 경로를 자율적으로 학습할 수 있도록 하기 위해.
• 원시 신호 측정치를 사용하고 큰 상태 공간을 다룰 수 있는 확장 가능한 RL 기반 방법을 개발하기 위해.
• 실제 도심 셀룰러 네트워크에서 UAV 경로 계획의 온라인 및 오프라인 배포를 지원하기 위해.
• 비균일한 셀룰러 커버리지 환경에서 연결성 향상과 임무 완료 시간 단축을 위해.

제안 방법

• 임무 시간과 단절 시간의 가중합을 최소화하기 위해 UAV 경로 설계를 마르코프 결정 과정(MDP)으로 수식화한다.
• 경험에서 직접 MDP의 상태가치 함수를 학습하기 위해 시간 차분(TD) 학습 방법을 적용한다.
• 고해상도 공간 격자로 인해 발생하는 큰 상태 공간을 다루기 위해 타일 코딩을 사용한 선형 함수 근사를 사용한다.
• 명시적인 채널 모델이 필요 없도록 원시 측정 또는 시뮬레이션 생성된 신호 세기를 유일한 입력으로 사용한다.
• 합성 데이터를 사용한 오프라인 사전 훈련과 실비행 데이터를 통한 온라인 최적화를 모두 지원한다.
• 드론의 위치와 신호 세기를 상태 입력으로 간주하고, 동작을 수평 평면 내 이산 이동 단위로 정의한다.

실험 결과

연구 질문

• RQ1 정확한 채널 모델에 의존하지 않고도 강화학습이 셀룰러 커버리지 홀을 피하는 UAV 경로를 효과적으로 학습할 수 있는가?
• RQ2 전체 커버리지 지식이 있는 값 반복 대비, 타일 코딩을 사용한 TD 학습은 경로 품질과 수렴성 측면에서 어떻게 비교되는가?
• RQ3 원시 신호 세기 데이터만으로도 복잡한 도심 환경에서 효과적인 경로 계획이 가능한가?
• RQ4 오프라인 사전 훈련과 온라인 최적화의 조합이 RL 기반 UAV 경로 설계에서 샘플 효율성을 어떻게 향상시키는가?
• RQ5 RL을 통한 UAV 항법에서 함수 근사를 사용할 경우, 경로 최적성과 보수성 사이의 상호 갈등은 어느 정도인가?

주요 결과

• 타일 코딩을 사용한 제안된 TD 학습 방법은 전체 전역 커버리지 지식이 필요한 최적의 값 반복 솔루션에 매우 가까운 경로 품질을 달성한다.
• 두 가지 TD 학습 방법 모두 최적 솔루션에 가까운 누적 보상으로 수렴하며, 직접 비행 기준 대비 뚜렷한 성능 향상을 보인다.
• 함수 근사의 과제로 인해 좁은 연결성 브릿지 발견에 어려움을 겪는 탓에, TD 학습과 타일 코딩을 사용한 경로는 더 보수적인 경향이 있으며, 비행 거리가 더 길다.
• 불완전하거나 시뮬레이션된 신호 데이터가 존재하는 상황에서도 도심 환경에서 커버리지 홀을 성공적으로 회피하여 강건성을 입증한다.
• 시뮬레이션 생성 데이터를 사용한 사전 훈련은 수렴 속도를 빠르게 하고, 고비용 실세계 경험의 필요성을 줄여준다.
• 알고리즘은 수천 개의 에피소드가 필요로 하며, 이는 RL의 샘플 비효율성을 보여주지만, 시뮬레이션 사전 훈련을 통해 이를 완화할 수 있다.