[논문 리뷰] Deep Reinforcement Learning Based Dynamic Trajectory Control for UAV-assisted Mobile Edge Computing

Liang Wang, Kezhi Wang외 4명|arXiv (Cornell University)|2019. 11. 10.

UAV Applications and Optimization참고 문헌 44인용 수 16

한 줄 요약

이 논문은 UAV 보조 모바일 엣지 컴퓨팅을 위한 딥 강화학습 기반 궤도 제어 알고리즘(RAT)을 제안하며, 사용자 연결, 자원 할당, UAV 궤도를 통합 최적화하여 전체 UE 에너지 소비를 최소화한다. 기존의 볼록 최적화 기반 CAT와 달리, RAT는 다양한 UAV 이륙 지점에서 실시간으로 적응 가능한 의사결정을 가능하게 하며, 더 빠른 수렴 속도와 뛰어난 성능을 보이며 2D 및 3D 시나리오에서 시뮬레이션을 통해 검증되었다.

ABSTRACT

In this paper, we consider a platform of flying mobile edge computing (F-MEC), where unmanned aerial vehicles (UAVs) serve as equipment providing computation resource, and they enable task offloading from user equipment (UE). We aim to minimize energy consumption of all the UEs via optimizing the user association, resource allocation and the trajectory of UAVs. To this end, we first propose a Convex optimizAtion based Trajectory control algorithm (CAT), which solves the problem in an iterative way by using block coordinate descent (BCD) method. Then, to make the real-time decision while taking into account the dynamics of the environment (i.e., UAV may take off from different locations), we propose a deep Reinforcement leArning based Trajectory control algorithm (RAT). In RAT, we apply the Prioritized Experience Replay (PER) to improve the convergence of the training procedure. Different from the convex optimization based algorithm which may be susceptible to the initial points and requires iterations, RAT can be adapted to any taking off points of the UAVs and can obtain the solution more rapidly than CAT once training process has been completed. Simulation results show that the proposed CAT and RAT achieve the similar performance and both outperform traditional algorithms.

연구 동기 및 목표

• 동적이고 연속적인 결정 변수를 갖는 UAV 보조 모바일 엣지 컴퓨팅(F-MEC) 환경에서 장기적인 에너지 소비를 최소화하는 도전 과제를 해결한다.
• 초기값에 민감하고 반복 처리 부담이 큰 전통적인 볼록 최적화 방법의 한계를 극복하기 위해 실시간, 적응형 제어를 가능하게 한다.
• 사용자 연결, 자원 할당, 궤도 제어를 통합 최적화하는 다중 UAV 시스템을 위한 확장 가능한 솔루션을 설계한다.
• 모든 UAV 이륙 위치에서 빠르고 일반화 가능한 의사결정을 가능하게 하여 유연성과 배포 적응성을 향상시킨다.
• 기존의 및 히وري스틱 기반 기준 방법에 비해 에너지 효율성과 수렴 속도에서 본 논문의 방법이 뛰어난 성능을 보임을 입증한다.

제안 방법

• 블록 좌표 강하(BCD)를 사용하여 UAV 궤도, 사용자 연결, 자원 할당을 반복적으로 해결하는 볼록 최적화 기반 궤도 제어(CAT) 알고리즘을 제안한다.
• 두 개의 딥 Q네트워크(DQN)를 사용하는 딥 강화학습 기반 궤도 제어(RAT) 프레임워크를 개발한다: 액터 네트워크는 동작 선택(방향 및 거리)을, 크리틱 네트워크는 가치 평가를 담당한다.
• UAV 가용성과 채널 조건에 따라 사용자 할당 및 자원 할당을 동적으로 수행할 수 있는 저복잡도 매칭 알고리즘을 통합한다.
• 중요도 기반 경험 재현(Prioritized Experience Replay, PER)을 활용하여 영향력이 큰 경험에 집중함으로써 학습 수렴 속도를 가속화한다.
• 모든 UE의 총 에너지 소비를 강화학습 보상 신호로 정의하여 정책 학습을 이끌어내는 데 사용한다.
• 실제 UAV 동역학(고도 변화 및 공간 이동성 포함)을 반영한 3D 환경에서 RAT를 훈련시켜 실제 배포 조건을 반영한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 프레임워크는 동적이고 다중 UAV F-MEC 환경에서 UAV 궤도, 사용자 연결, 자원 할당을 효과적으로 최적화할 수 있는가?
• RQ2 제안된 RAT 알고리즘이 볼록 최적화 기반 CAT 및 히وري스틱 기반 기준 방법에 비해 에너지 소비와 수렴 속도 측면에서 어떻게 성능을 발휘하는가?
• RQ3 재학습 없이 다양한 UAV 이륙 위치에 대해 RAT가 얼마나 일반화 가능한가?
• RQ4 3D 궤도 모델에 고도 제어를 포함할 경우 시스템 성능과 에너지 효율성에 어떤 영향을 미치는가?
• RQ5 UAV 수가 증가할 경우 제안된 프레임워크에서 UE의 총 에너지 소비에 어떤 영향을 미치는가?

주요 결과

• 모든 평가 알고리즘 중 RAT가 가장 낮은 총 에너지 소비를 기록하며, 모든 테스트 시나리오에서 CAT, CM, RM, LE를 일관되게 능가한다.
• 두 대의 UAV가 있는 3D 시나리오에서 RAT는 훈련 후 UE 에너지 소비를 약 350 J로 줄였고, 학습 시작 시점의 600–700 J에 비해 뚜렷한 향상이 있었다.
• UAV 수가 증가함에 따라 모든 알고리즘에서 UE의 총 에너지 소비가 감소했지만, RAT는 가장 우수한 성능 격차를 유지했다.
• RAT는 뛰어난 적응성을 보이며, 초기 UAV 이륙 위치에 관계없이 빠른 추론과 안정된 성능을 달성했다. 반면 CAT는 초기화에 민감하여 성능이 변동성이 있었다.
• 3D 궤도 결과에서는 UAV가 초기에 상승하여 커버리지 범위를 증가시키며, 이후 다수의 UE를 효율적으로 서비스하기 위해 동적으로 재배치되는 경향을 보였다. 이는 데이터 전송 속도와 서비스 범위를 균형 있게 조절하는 데 기여했다.
• CM(고정 고도) 및 RM(랜덤 이동)에 비해 RAT는 UAV 에너지 소비를 10% 이상 감소시키고, UE 에너지 소비를 평균 20% 이상 감소시켰다.