[논문 리뷰] Reinforcement Learning in Multiple-UAV Networks: Deployment and Movement Design

Xiao Liu, Yuanwei Liu외 1명|arXiv (Cornell University)|2019. 04. 10.

UAV Applications and Optimization참고 문헌 47인용 수 10

한 줄 요약

이 논문은 다중 UAV의 공동 3차원 배치 및 동적 이동을 통해 사용자 경험 품질(QoE)을 최대화하기 위한 Q-학습 기반 프레임워크를 제안한다. QoE는 평균 평가 점수(MOS)로 측정된다. 본 논문은 세 단계 접근법을 도입한다: 사용자 세포 분할을 위한 GAK-means, 오프라인 3차원 위치 최적화를 위한 Q-학습, 이동 시나리오에서의 동적 이동을 위한 Q-학습으로, 빠른 수렴 속도와 낮은 복잡도를 바탕으로 K-means 및 IGK-means보다 뛰어난 성능을 달성한다.

ABSTRACT

A novel framework is proposed for quality of experience (QoE)-driven deployment and dynamic movement of multiple unmanned aerial vehicles (UAVs). The problem of joint non-convex three-dimensional (3D) deployment and dynamic movement of the UAVs is formulated for maximizing the sum mean opinion score (MOS) of ground users, which is proved to be NP-hard. In the aim of solving this pertinent problem, a three-step approach is proposed for attaining 3D deployment and dynamic movement of multiple UAVs. Firstly, genetic algorithm based K-means (GAK-means) algorithm is utilized for obtaining the cell partition of the users. Secondly, Q-learning based deployment algorithm is proposed, in which each UAV acts as an agent, making their own decision for attaining 3D position by learning from trial and mistake. In contrast to conventional genetic algorithm based learning algorithms, the proposed algorithm is capable of training the direction selection strategy offline. Thirdly, Q-learning based movement algorithm is proposed in the scenario that the users are roaming. The proposed algorithm is capable of converging to an optimal state. Numerical results reveal that the proposed algorithms show a fast convergence rate after a small number of iterations. Additionally, the proposed Q-learning based deployment algorithm outperforms K-means algorithms and Iterative-GAKmean (IGK) algorithms with a low complexity.

연구 동기 및 목표

• 다중 UAV 네트워크에서 최적의 3차원 배치 및 동적 이동을 통해 사용자 QoE를 극대화하는 문제에 대응한다.
• 합산 MOS를 극대화하기 위해 공동 3차원 배치 및 이동 문제를 비볼록 최적화 과제로 공식화한다.
• 문제의 NP-난이도 성격을 극복하기 위해 계산 복잡도가 낮은 확장 가능한 학습 기반 솔루션을 제안한다.
• Q-학습 기반의 동적 이동 알고리즘을 통해 사용자 이동성에 실시간으로 적응할 수 있도록 한다.
• 다중 UAV 네트워크에서 성능, 수렴 속도, 구현 복잡도 간의 균형을 이루는 프레임워크를 설계한다.

제안 방법

• 초기 세포 할당을 위해 지상 사용자를 클러스터로 분할하기 위해 유전 알고리즘 기반 K-means(GAK-means) 알고리즘을 사용한다.
• 각 UAV가 독립된 에이전트로 작동하여 시행착오를 통해 최적의 3차원 위치를 학습하는 Q-학습 기반의 배치 알고리즘을 개발한다. 이는 방향 선택 전략의 오프라인 훈련을 포함한다.
• 이동 중 사용자가 있는 동적 시나리오를 위해 Q-학습 기반의 이동 알고리즘을 설계하여 UAV가 실시간으로 위치를 조정할 수 있도록 한다.
• 주파수 및 거리에 따라 변하는 경로 손실을 고려한 하이브리드 LOS/NLoS 채널 모델을 사용하여 UAV-지상 사용자 간 채널을 모델링한다.
• 거리, 송신 전력 및 채널 조건에 따라 의존하는 로그 함수 기반의 대역폭 및 각 사용자별 구현 가능한 전송률을 공식화한다.
• 문제를 평면 K-means 문제로 감소시켜 최적화 문제의 NP-난이도를 증명함으로써 계산 복잡도를 확립한다.

실험 결과

연구 질문

• RQ1 지상 사용자의 전반적인 QoE를 극대화하기 위해 다중 UAV를 3차원 공간에서 어떻게 공동으로 설치할 수 있는가?
• RQ2 사용자가 이동할 경우 UAV가 위치를 어떻게 동적으로 조정하는 것이 최적의 전략인가?
• RQ3 Q-학습 기반 접근법이 수렴 속도 및 QoE 향상 측면에서 기존의 클러스터링 및 최적화 방법보다 뛰어나게 성능을 낼 수 있는가?
• RQ4 제안된 프레임워크는 공동 3차원 배치 및 이동 문제의 비볼록성과 계산 복잡도를 어떻게 다루는가?
• RQ5 제안된 Q-학습 기반의 배치 및 이동 알고리즘은 K-means 및 IGK-means에 비해 얼마나 높은 성능 향상을 달성하는가?

주요 결과

• 제안된 Q-학습 기반의 배치 알고리즘은 K-means 및 IGK-means보다 훨씬 낮은 계산 복잡도로 더 높은 합산 MOS를 달성한다.
• Q-학습 기반의 이동 알고리즘은 사용자 이동성 조건 하에서도 최적 상태로 수렴하여 지속적인 QoE 향상을 보장한다.
• 소수의 훈련 반복 이후에도 프레임워크가 매우 빠른 수렴 속도를 보이며 뛰어난 학습 효율성을 입증한다.
• 공동 3차원 배치 및 이동 문제의 NP-난이도는 평면 K-means 문제로의 감소를 통해 공식적으로 증명되었다.
• 수치 결과는 제안된 접근법이 다양한 사용자 분포 및 이동 패tern 하에서도 높은 스펙트럼 효율성과 강인성을 유지함을 확인한다.
• 초기 클러스터링을 위한 GAK-means의 통합은 Q-학습 에이전트의 배치 최적화 과정에서의 수렴성과 안정성을 향상시킨다.