[논문 리뷰] RL-Based User Association and Resource Allocation for Multi-UAV enabled MEC

Liang Wang, Pei-Qiu Huang외 5명|arXiv (Cornell University)|2019. 04. 08.

UAV Applications and Optimization참고 문헌 12인용 수 6

한 줄 요약

이 논문은 다중 UAV 기반 모바일 엣지 컴퓨팅(MEC) 시스템에서 총 에너지 소비를 최소화하기 위해 강화학습 기반 사용자 할당 및 자원 할당(RLAA) 알고리즘을 제안한다. 혼합정수비선형계획문제(MINLP)로 사용자 할당 및 자원 할당을 수식화함으로써, RLAA는 딥 Q네트워크를 사용하여 최적의 오프로딩 결정과 자원 할당을 학습하며, 소규모 시나리오에서는 near-optimal 성능를 달성하고 대규모 구현에서는 기준 방법 대비 뚜렷한 에너지 절감 효과를 보인다.

ABSTRACT

In this paper, multi-unmanned aerial vehicle (UAV) enabled mobile edge computing (MEC), i.e., UAVE is studied, where several UAVs are deployed as flying MEC platform to provide computing resource to ground user equipments (UEs). Compared to the traditional fixed location MEC, UAV enabled MEC (i.e., UAVE) is particular useful in case of temporary events, emergency situations and on-demand services, due to its high flexibility, low cost and easy deployment features. However, operation of UAVE faces several challenges, two of which are how to achieve both 1) the association between multiple UEs and UAVs and 2) the resource allocation from UAVs to UEs, while minimizing the energy consumption for all the UEs. To address this, we formulate the above problem into a mixed integer nonlinear programming (MINLP), which is difficult to be solved in general, especially in the large-scale scenario. We then propose a Reinforcement Learning (RL)-based user Association and resource Allocation (RLAA) algorithm to tackle this problem efficiently and effectively. Numerical results show that the proposed RLAA can achieve the optimal performance with comparison to the exhaustive search in small scale, and have considerable performance gain over other typical algorithms in large-scale cases.

연구 동기 및 목표

• UAV가 지상 사용자 단말(UE)에게 계산 집약적인 작업을 제공하는 다중 UAV 기반 MEC 시스템에서 효율적인 사용자 할당 및 자원 할당 문제를 해결하기 위해.
• 모든 UE의 총 에너지 소비를 최소화하면서도 서비스 품질(QoS) 제약 조건을 만족시키기 위해.
• 대규모 시나리오에서 혼합정수비선형계획문제(MINLP) 수식의 계산 불가능성 문제를 극복하기 위해.
• 실시간 조건에 따라 사용자를 UAV에 동적으로 할당하고 무선 및 계산 자원을 할당하는 확장 가능하고 적응 가능한 솔루션을 개발하기 위해.
• 소규모 및 대규모 환경에서 전수 검색 및 전통적 휴리스틱 방법과의 성능 평가를 위해.

제안 방법

• 총 에너지 소비를 최소화하기 위해 사용자 할당 및 자원 할당 문제를 혼합정수비선형계획문제(MINLP)로 수식화하기.
• 상태로 사용자 단말(UE) 위치, UAV 위치, 작업 요구사항, 채널 조건을 포함하는 마르코프 결정 과정(MDP)으로 시스템을 모델링하기.
• 탐색 및 경험 리플레이를 통해 최적의 행동(UAV 선택 및 시간 슬롯 할당)을 학습하기 위해 딥 Q네트워크(DQN) 기반 강화학습 에이전트 설계하기.
• 고에너지 소비, 작업 위반, 자원 과부하를 방지하기 위해 밀도 높은 보상 함수 정의하기.
• 학습 중 탐색과 탐색 간 균형을 유지하기 위해 에psilon-그리디 탐색과 감쇠 스케줄 사용하기.
• 학습 안정성 향상과 수렴성 향상을 위해 리플레이 버퍼와 타겟 네트워크를 사용하여 DQN 에이전트 훈련하기.

실험 결과

연구 질문

• RQ1 강화학습 기반 접근 방식이 다중 UAV MEC 시스템에서 사용자 할당 및 자원 할당에 near-optimal 성능를 달성할 수 있는가?
• RQ2 소규모 시나리오에서 제안된 RLAA 알고리즘이 전수 검색 대비 어떻게 성능를 보이는가?
• RQ3 대규모 구현에서 전통적 휴리스틱 방법(예: 근사적, 무작위, 현지 실행) 대비 RLAA의 확장성과 성능 향상은 어떠한가?
• RQ4 RLAA 알고리즘이 QoS 및 자원 제약 조건을 충족시키면서 총 에너지 소비를 얼마나 줄이는가?
• RQ5 UE 분포 및 UAV 이동성의 동적 변화에 대해 RLAA 정책은 얼마나 견고한가?

주요 결과

• 소규모 시나리오(3~7개 UE)에서 RLAA 알고리즘은 전수 검색와 동일한 최소 에너지 소비를 달성하여 저복잡도 환경에서의 최적성 확인.
• 대규모 시나리오(100~1000개 UE)에서 RLAA는 현지 실행(LE), 무작위 오프로딩(RO), 근사적 오프로딩(GO)을 크게 능가하며 총 에너지 소비를 뚜렷이 감소시킴.
• 3대의 UAV와 1000개의 UE 조건에서 RLAA는 GO, RO, LE보다 낮은 에너지 소비를 달성하여 뛰어난 확장성과 적응성 입증.
• UAV 수가 5대로 증가할 경우에도 RLAA는 모든 기준 방법을 능가하며 모든 UE에서 뚜렷한 에너지 절감 효과 기록.
• 고밀도 환경에서 RLAA의 성능 향상이 가장 두드러지며, 이는 최적의 UAV 선택 및 자원 할당이 필수적임을 시사함.
• DQN 기반 RLAA 정책은 다양한 UE 분포 및 UAV 구성에서 안정적으로 수렴하고 잘 일반화되어 있어 견고성과 적응성 입증.