[논문 리뷰] Trajectory Design and Power Control for Multi-UAV Assisted Wireless Networks: A Machine Learning Approach

Xiao Liu, Yuanwei Liu외 2명|arXiv (Cornell University)|2018. 12. 18.

UAV Applications and Optimization참고 문헌 41인용 수 12

한 줄 요약

이 논문은 다중 UAV 보조 무선 네트워크에서 공동 궤적 설계 및 전력 제어를 위한 기계학습 프레임워크를 제안한다. 다중 에이전트 Q-학습과 에코 스테이트 네트워크(ESN)를 사용하여 사용자 이동성을 예측하고 UAV 위치를 최적화한다. 이 방법은 타깃 기반 방법 대비 약 17%의 전송률 향상을 달성하면서도 온건한 조건 하에서 수렴성을 확보한다.

ABSTRACT

A novel framework is proposed for the trajectory design of multiple unmanned aerial vehicles (UAVs) based on the prediction of users' mobility information. The problem of joint trajectory design and power control is formulated for maximizing the instantaneous sum transmit rate while satisfying the rate requirement of users. In an effort to solve this pertinent problem, a three-step approach is proposed which is based on machine learning techniques to obtain both the position information of users and the trajectory design of UAVs. Firstly, a multi-agent Q-learning based placement algorithm is proposed for determining the optimal positions of the UAVs based on the initial location of the users. Secondly, in an effort to determine the mobility information of users based on a real dataset, their position data is collected from Twitter to describe the anonymous user-trajectories in the physical world. In the meantime, an echo state network (ESN) based prediction algorithm is proposed for predicting the future positions of users based on the real dataset. Thirdly, a multi-agent Q-learning based algorithm is conceived for predicting the position of UAVs in each time slot based on the movement of users. In this algorithm, multiple UAVs act as agents to find optimal actions by interacting with their environment and learn from their mistakes. Additionally, we also prove that the proposed multi-agent Q-learning based trajectory design and power control algorithm can converge under mild conditions. Numerical results are provided to demonstrate that as the size of the reservoir increases, the proposed ESN approach improves the prediction accuracy. Finally, we demonstrate that throughput gains of about 17% are achieved.

연구 동기 및 목표

• 사용자 이동성 제약 조건 하에서 다중 UAV 무선 네트워크에서 순순간 총 전송 속도를 최대화하는 문제를 해결하기 위해.
• 다이나믹한 환경에서 사용자 요구 전송률을 충족시키기 위해 UAV 궤적과 전력 제어를 공동으로 최적화하기 위해.
• 실제 사용자 이동성 데이터를 토대로 Twitter에서 확보한 데이터를 활용하여 사용자 위치 예측 정확도를 향상시키기 위해.
• UAV 배치 및 이동성에 대한 확장 가능하고 수렴 가능한 다중 에이전트 강화학습 프레임워크를 설계하기 위해.

제안 방법

• 초기 사용자 위치를 기반으로 최적의 UAV 위치를 결정하기 위해 다중 에이전트 Q-학습 알고리즘을 사용하며, 각 UAV를 환경 피드백에서 학습하는 독립된 에이전트로 간주한다.
• 실제 Twitter 기반 이동성 데이터 세트를 사용하여 향후 사용자 위치를 예측하기 위해 에코 스테이트 네트워크(ESN)를 활용하여 궤적 계획 정확도를 향상시킨다.
• 시스템은 UAV를 환경과의 상호작용을 통해 보상 신호(전송률 및 요구 전송률 제약 조건 기반)를 이용해 최적의 행동(위치)을 반복적으로 학습하는 에이전트로 모델링한다.
• 사용자 이동성 예측, UAV 배치, 동적 궤적 최적화를 강화학습을 사용하여 통합하는 삼단계 프레임워크를 제안한다.
• 다중 에이전트 Q-학습 알고리즘이 온건한 조건 하에서 이론적으로 수렴함을 증명하여 안정적인 학습 동역학을 보장한다.
• 시스템 총 전송률을 최대화하면서도 개별 사용자 전송률 요구 조건을 충족시키기 위해 전력 제어를 궤적 설계와 공동으로 최적화한다.

실험 결과

연구 질문

• RQ1 다중 UAV 네트워크에서 실시간 사용자 이동 패턴에 대응하여 UAV 궤적을 어떻게 동적으로 최적화할 수 있는가?
• RQ2 ESN 기반 사용자 궤적 예측이 UAV 보조 무선 네트워크의 성능에 얼마나 기여하는가?
• RQ3 다중 에이전트 Q-학습 프레임워크는 사용자 전송률 제약 조건을 충족시키면서 시스템 전송률을 최대화하기 위해 다수의 UAV를 효과적으로 조율할 수 있는가?
• RQ4 실제 네트워크 조건 하에서 제안된 다중 에이전트 강화학습 알고리즘의 수렴 행동은 어떠한가?
• RQ5 이동성 예측을 궤적 및 전력 제어의 공동 최적화와 통합함으로써 UAV 네트워크에서 얻을 수 있는 전송률 향상은 어느 정도인가?

주요 결과

• 제안된 ESN 기반 사용자 이동성 예측 방법은 저축 크기가 증가할수록 예측 정확도가 향상됨을 보여주며, 확장성과 적응성의 잠재력을 입증한다.
• UAV 궤적 및 전력 제어를 위한 다중 에이전트 Q-학습 알고리즘은 온건한 조건 하에서 수렴이 증명되어 안정적인 학습 성능을 보장한다.
• 기본 기반 방법 대비 약 17%의 전송률 향상이 달성되어 공동 최적화 프레임워크의 효과성을 검증한다.
• 실제 Twitter 이동성 데이터의 통합은 사용자 이동 패턴을 정확하게 모델링할 수 있게 하여 현실적인 시나리오에서의 시스템 성능 향상에 기여한다.
• 이 프레임워크는 사용자 전송률 요구 조건과 시스템 총 전송률 최대화를 효과적으로 균형 잡으며, 다이나믹한 환경에서의 강건성을 입증한다.
• 강화학습의 사용은 사용자 이동 패턴에 대한 사전 지식이 없이도 자율적이고 적응적인 UAV 배치를 가능하게 한다.