[논문 리뷰] Cellular-Connected UAVs over 5G: Deep Reinforcement Learning for Interference Management

Ursula Challita, Walid Saad외 1명|arXiv (Cornell University)|2018. 01. 16.

UAV Applications and Optimization참고 문헌 25인용 수 97

한 줄 요약

본 논문은 간섭 인지 경로 계획 및 자원 관리를 가능하게 하는 에코 상태 네트워크 기반의 딥 강화 학습 프레임워크를 제안하고, 다중 셀룰러 연결 UAV들을 대상으로 동적 게임에서 SPNE를 달성한다.

ABSTRACT

In this paper, an interference-aware path planning scheme for a network of cellular-connected unmanned aerial vehicles (UAVs) is proposed. In particular, each UAV aims at achieving a tradeoff between maximizing energy efficiency and minimizing both wireless latency and the interference level caused on the ground network along its path. The problem is cast as a dynamic game among UAVs. To solve this game, a deep reinforcement learning algorithm, based on echo state network (ESN) cells, is proposed. The introduced deep ESN architecture is trained to allow each UAV to map each observation of the network state to an action, with the goal of minimizing a sequence of time-dependent utility functions. Each UAV uses ESN to learn its optimal path, transmission power level, and cell association vector at different locations along its path. The proposed algorithm is shown to reach a subgame perfect Nash equilibrium (SPNE) upon convergence. Moreover, an upper and lower bound for the altitude of the UAVs is derived thus reducing the computational complexity of the proposed algorithm. Simulation results show that the proposed scheme achieves better wireless latency per UAV and rate per ground user (UE) while requiring a number of steps that is comparable to a heuristic baseline that considers moving via the shortest distance towards the corresponding destinations. The results also show that the optimal altitude of the UAVs varies based on the ground network density and the UE data rate requirements and plays a vital role in minimizing the interference level on the ground UEs as well as the wireless transmission delay of the UAV.

연구 동기 및 목표

• 셀룰러 연결된 UAV 네트워크에서 간섭 관리 다루기.
• 에너지 효율성, 지연 및 지상 셀 간섭의 균형을 맞추는 온라인적이고 적응적인 경로 계획 개발.
• 문제를 UAV들 간의 동적 비협력 게임으로 형식화한다.
• 자율 UAV들이 궤적에 따라 최적의 경로, 전력 및 기지국 연결을 학습하도록 한다.
• SINR 및 지연 목표를 보장하면서 계산 복잡도를 줄이기 위한 고도 경계치를 도출한다.

제안 방법

• UAV를 플레이어로 하는 동적 비협력 게임으로 UAV 네트워크를 모델링한다.
• SPNE 학습을 위한 에코 상태 네트워크(ESN) 셀을 사용하는 딥 강화 학습 접근법을 도입한다.
• UAV 궤적, 전력, 및 BS 연결을 결합하는 관측, 행동 및 보상을 정의한다.
• 다층 딥 ESN을 사용하여 시간적 의존성을 포착하고 정책을 학습한다.
• 행동 공간을 제약하고 효율성을 높이기 위해 UAV 고도에 대한 해석적 경계치를 도출한다.
• 에너지 효율성, 지연 및 지상 간섭 간의 트레이드오프를 보여주는 시뮬레이션 결과를 제공한다.

실험 결과

연구 질문

• RQ1 셀룰러 연결된 UAV들이 지연 요구를 충족하면서 지상 UE에 대한 간섭을 최소화하는 궤적을 자율적으로 어떻게 계획할 수 있는가?
• RQ2 다중 UAV 간섭 제한 설정에서 딥 ESN 기반 RL 프레임워크가 Subgame Perfect Nash Equilibrium에 수렴할 수 있는가?
• RQ3 고도 및 3D 위치가 네트워크 성능 및 지상 셀과의 간섭에 어떤 영향을 미치는가?
• RQ4 지상 네트워크 밀도와 UE 데이터 rate 요구가 최적 UAV 고도와 궤적에 어떤 영향을 미치는가?

주요 결과

• 제안된 ESN 기반 RL 프레임워크는 수렴 시 subgame perfect Nash equilibrium을 달성한다.
• 시뮬레이션 결과는 최단 경로 baseline과 비교하여 UAV당 무선 지연 및 지상 사용자당 전송률이 향상됨을 보여준다.
• 상한 및 하한 고도가 도출되어 알고리즘의 계산 복잡도가 감소한다.
• UAV 고도는 지상 네트워크 밀도 및 UE 데이터 레이트 요구사항에 의존하며 간섭 및 지연 최소화에 중요하다고 나타난다.