[논문 리뷰] An Actor-Critic-Based UAV-BSs Deployment Method for Dynamic Environments

Zhiwei Chen, Yi Zhong외 2명|arXiv (Cornell University)|2020. 02. 03.

UAV Applications and Optimization참고 문헌 15인용 수 5

한 줄 요약

이 논문은 움직이는 사용자를 고려한 동적 환경에서 UAV-BS를 실시간으로 배치하기 위해 액터-크리틱 딥 강화학습(DRL) 방법을 제안한다. UAV 위치 결정을 마르코프 결정 과정(MDP)으로 모델링함으로써, 두 개의 딥 신경망을 사용해 UAV 위치를 지속적으로 조정하며, 이는 동적 사용자 시나리오에서 히우리스틱 방법 대비 27% 높은 장기 평균 처리량과 24% 빠른 해법 시간을 달성한다.

ABSTRACT

In this paper, the real-time deployment of unmanned aerial vehicles (UAVs) as flying base stations (BSs) for optimizing the throughput of mobile users is investigated for UAV networks. This problem is formulated as a time-varying mixed-integer non-convex programming (MINP) problem, which is challenging to find an optimal solution in a short time with conventional optimization techniques. Hence, we propose an actor-critic-based (AC-based) deep reinforcement learning (DRL) method to find near-optimal UAV positions at every moment. In the proposed method, the process searching for the solution iteratively at a particular moment is modeled as a Markov decision process (MDP). To handle infinite state and action spaces and improve the robustness of the decision process, two powerful neural networks (NNs) are configured to evaluate the UAV position adjustments and make decisions, respectively. Compared with the heuristic algorithm, sequential least-squares programming and fixed UAVs methods, simulation results have shown that the proposed method outperforms these three benchmarks in terms of the throughput at every moment in UAV networks.

연구 동기 및 목표

• 움직이는 사용자가 있는 동적 환경에서 UAV-BS의 실시간 배치 문제를 해결하기 위해.
• 시간에 따라 변화하는 혼합정수비볼록프로그래밍(MINP) 문제를 해결하는 데 있어 전통적인 최적화 기법의 한계를 극복하기 위해.
• 동적 사용자 이동성 하에서 네트워크 처리량을 최대화하는 확장성 있고 적응 가능한 솔루션을 개발하기 위해.
• MINP 목표 기반으로 수학적으로 근거가 있는 보상 함수를 유도함으로써 정책 수렴성과 안정성을 향상시키기 위해.
• 학습된 정책을 통해 UAV-BS가 상호 협력적으로 위치를 조정하고 간섭을 줄이기 위해.

제안 방법

• UAV-BS 배치 문제는 UAV 및 사용자 위치를 나타내는 연속적인 상태 및 행동 공간을 가진 시간에 따라 변화하는 마르코프 결정 과정(MDP)으로 모델링된다.
• 액터-크리틱 딥 강화학습 프레임워크를 사용하며, 액터 네트워크는 행동 정책을 출력하고, 크리틱 네트워크는 상태-행동 값의 평가를 수행한다.
• 보상 함수는 MINP 최적화 목표에서 수학적으로 유도되어 정책 수렴성과 처리량 최대화 목표에 부합하도록 보장된다.
• 액터 및 크리틱 네트워크는 학습률 0.0001로 학습되는 Adam 옵timizer를 사용하고 배치 정규화를 적용하여 과적합을 방지한다.
• 학습 안정성을 높이기 위해 버퍼 용량 1×10^7인 경험 재생을 사용하며, 타겟 네트워크는 매 200 에포크마다 갱신된다.
• 수렴 가속화 및 초기 탐색 개선을 위해 간섭 없이 시스템 처리량을 사용해 사전 훈련을 수행한다.

실험 결과

연구 질문

• RQ1 움직이는 사용자에 대응하여 UAV-BS를 실시간으로 어떻게 동적으로 재배치할 수 있는가?
• RQ2 액터-크리틱 DRL 접근법이 동적 UAV-BS 배치에서 히우리스틱 및 전통적인 최적화 방법보다 우월한가?
• RQ3 제안된 방법은 UAV 위치 결정에서 연속적이고 무한한 상태 및 행동 공간을 어떻게 다루는가?
• RQ4 수학적으로 유도된 보상 함수는 정책 수렴성과 성능에 어떤 영향을 미치는가?
• RQ5 학습된 정책이 다양한 사용자 분포 패턴에 얼마나 일반화되는가?

주요 결과

• 제안된 AC 기반 DRL 방법은 사용자가 2차원 가우시안 분포를 따를 경우 히우리스틱 알고리즘 대비 27% 높은 장기 평균 처리량을 달성한다.
• 균일한 사용자 분포 시나리오에서는 히우리스틱 접근법 대비 장기 평균 처리량을 7% 향상시킨다.
• SLSQP 기반 최적화보다 84%의 타임슬롯에서 성능이 뛰어나 실시간 적응 능력이 뛰어나다는 것을 입증한다.
• 제안된 방법의 해법 시간은 1439.93초로, 히우리스틱 알고리즘의 1916.90초 대비 24% 감소했다.
• 사용자 밀도가 증가함에 따라 처리량이 최대 43.4% 증가하여 고속도 이동 환경에서도 뛰어난 확장성과 성능 향상을 보인다.
• UAV-BS 에이전트는 상호 간섭을 줄이는 협력적 위치 조정 전략을 학습하며, 특히 가우시안 분포 사용자 시나리오에서 뚜렷하게 나타난다.