[논문 리뷰] Path Planning for UAV-Mounted Mobile Edge Computing with Deep Reinforcement Learning

Q. Liu, Long Shi외 4명|arXiv (Cornell University)|2020. 01. 28.

UAV Applications and Optimization참고 문헌 18인용 수 9

한 줄 요약

이 논문은 품질보증(QoS) 보장을 제공하는 UAV 장착 모바일 엣지 컴퓨팅을 위한 딥 강화학습 기반 경로 계획 알고리즘을 제안한다. QoS 인식 이중 딥 Q네트워크와 새로운 에프클립스-그리디 정책을 사용하여 UAV는 궤적과 사용자 할당을 최적화하여 시스템 보상 최대화와 사용자 간 99%의 QoS 만족도를 달성한다. 이는 기존 DQN 및 Q-러닝 방법보다 수렴성과 처리량 측면에서 뛰어나다.

ABSTRACT

In this letter, we study an unmanned aerial vehicle (UAV)-mounted mobile edge computing network, where the UAV executes computational tasks offloaded from mobile terminal users (TUs) and the motion of each TU follows a Gauss-Markov random model. To ensure the quality-of-service (QoS) of each TU, the UAV with limited energy dynamically plans its trajectory according to the locations of mobile TUs. Towards this end, we formulate the problem as a Markov decision process, wherein the UAV trajectory and UAV-TU association are modeled as the parameters to be optimized. To maximize the system reward and meet the QoS constraint, we develop a QoS-based action selection policy in the proposed algorithm based on double deep Q-network. Simulations show that the proposed algorithm converges more quickly and achieves a higher sum throughput than conventional algorithms.

연구 동기 및 목표

• 이동하는 사용자가 있는 모바일 엣지 컴퓨팅 네트워크에서 시간에 따라 변화하는 사용자 위치를 고려한 동적 UAV 경로 계획 문제를 해결하기 위해.
• 사용자 위치의 변화에 관계없이 각 이동 사용자에 대한 품질보증(QoS)을 보장하기 위해.
• 에너지 및 QoS 제약 조건 하에서 UAV 경로와 사용자 할당을 공동 최적화하기 위해.
• 이동 사용자 이동성으로 인한 큰 상태 및 행동 공간에 대응하는 확장 가능한 솔루션을 개발하기 위해.
• 기존 강화학습 방법에 비해 수렴 속도와 시스템 처리량을 향상시키기 위해.

제안 방법

• 궤적과 사용자 할당을 제어 변수로 하는 마르코프 결정 과정(MDP)으로 UAV 경로 계획 문제를 수식화한다.
• 실제 사용자 이동 패턴을 반영하기 위해 사용자 이동성을 가우스-마르코프 랜덤 모델(GMRM)로 모델링한다.
• QoS 제약 조건을 우선시하는 QoS 기반 에프클립스-그리디 탐색 정책을 이중 딥 Q네트워크(DDQN) 프레임워크 내에서 제안한다.
• 작업 이송 처리량과 에너지 소비를 균형 잡는 시스템 보상 함수를 사용한다.
• 경험 재생 및 타겟 네트워크 기법을 사용하여 DNN 정책을 엔드 투 엔드로 훈련시켜 학습 안정성을 확보한다.
• QoS 제약 조건을 직접 행동 선택 정책에 통합하여 각 사용자에 대한 높은 신뢰성 보장을 확보한다.

실험 결과

연구 질문

• RQ1 시간에 따라 변화하는 사용자 위치를 고려한 모바일 엣지 컴퓨팅 네트워크에서 UAV 경로를 어떻게 동적으로 최적화하여 이동 사용자를 효율적으로 서비스할 수 있는가?
• RQ2 이동 사용자 이동성으로 인해 발생하는 큰 상태 및 행동 공간을 효과적으로 다룰 수 있는 강화학습 방법은 무엇인가?
• RQ3 개별 사용자에 대한 QoS 제약 조건을 학습 정책에 어떻게 통합하여 신뢰할 수 있는 서비스를 보장할 수 있는가?
• RQ4 기본적인 에프클립스-그리디 정책에 비해 QoS 인식 탐색 전략이 수렴성과 시스템 성능 향상에 기여하는가?
• RQ5 다양한 사용자 이동성 및 네트워크 조건 하에서 제안된 알고리즘이 처리량, 수렴 속도 및 QoS 보장 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• 모의 실험에서 제안된 알고리즘은 DQN, DQL, QL 기준선 대비 평균 보상이 가장 높고 수렴 속도도 가장 빠르다.
• 모든 테스트 사용자 수와 속도에서 제안된 방법이 에피소드당 시스템 합산 처리량을 최대화한다.
• 낮은 사용자 속도(예: 1 m/s) 조건에서는 제안된 알고리즘이 피크 합산 처리량을 달성하여 정적 조건에 가까운 최적 성능을 보인다.
• QoS 기반 에프클립스-그리디 정책은 각 사용자에 대해 99%의 보장률을 확보하여 기존의 에프클립스-그리디 정책보다 뛰어나다.
• 다양한 사용자 속도 조건에서도 알고리즘이 강건하게 유지되며, 훈련 중에 경험하지 못한 속도 조건에서도 수렴성을 유지한다.
• 제안된 방법은 표본 Q-러닝(QL) 및 DQL이 높은 사용자 수(예: >8000)에서 상태-행동 공간이 기하급수적으로 증가하여 실패하는 확장성 문제를 피한다.