[논문 리뷰] Distributed Multi-agent Meta Learning for Trajectory Design in Wireless Drone Networks

Ye Hu, Mingzhe Chen외 3명|arXiv (Cornell University)|2020. 12. 06.

UAV Applications and Optimization참고 문헌 29인용 수 7

한 줄 요약

이 논문은 변동성이 크고 예측할 수 없는 무선 네트워크 환경에서 에너지 제약이 있는 드론 베이스 스테이션(DBS)의 경로 최적화를 위한 분산 다중 에이전트 메타강화학습 프레임워크를 제안한다. 가치 분해 강화학습(VD-RL)과 메타학습을 융합함으로써, 에너지 제약이 있는 드론들이 협동적으로 사용자 커버리지 최대화를 달성하고 예측 불가능한 환경에 신속히 적응할 수 있도록 한다. 제안된 방법은 기준선 대비 서비스 커버리지에서 53.2% 향상되고, 수렴 속도는 최대 53.8% 빠르게 구현된다.

ABSTRACT

In this paper, the problem of the trajectory design for a group of energy-constrained drones operating in dynamic wireless network environments is studied. In the considered model, a team of drone base stations (DBSs) is dispatched to cooperatively serve clusters of ground users that have dynamic and unpredictable uplink access demands. In this scenario, the DBSs must cooperatively navigate in the considered area to maximize coverage of the dynamic requests of the ground users. This trajectory design problem is posed as an optimization framework whose goal is to find optimal trajectories that maximize the fraction of users served by all DBSs. To find an optimal solution for this non-convex optimization problem under unpredictable environments, a value decomposition based reinforcement learning (VDRL) solution coupled with a meta-training mechanism is proposed. This algorithm allows the DBSs to dynamically learn their trajectories while generalizing their learning to unseen environments. Analytical results show that, the proposed VD-RL algorithm is guaranteed to converge to a local optimal solution of the non-convex optimization problem. Simulation results show that, even without meta-training, the proposed VD-RL algorithm can achieve a 53.2% improvement of the service coverage and a 30.6% improvement in terms of the convergence speed, compared to baseline multi-agent algorithms. Meanwhile, the use of meta-learning improves the convergence speed of the VD-RL algorithm by up to 53.8% when the DBSs must deal with a previously unseen task.

연구 동기 및 목표

• 변동성이 크고 예측할 수 없는 사용자 수요가 발생하는 무선 환경에서 에너지 제약이 있는 드론 베이스 스테이션(DBS)의 경로 설계 과제를 해결한다.
• 비볼록성, 확장성, 그리고 새로운 시나리오에 대한 일반화 능력에 어려움을 겪는 전통적인 최적화 및 강화학습 방법의 한계를 극복한다.
• 모든 상태 또는 행동 정보 공유 없이도 다수의 DBS 간 협동적이고 분산된 경로 계획을 가능하게 하여 전체 사용자 커버리지 최대화를 달성한다.
• 메타학습 통합을 통해 기존에 경험하지 못한 작업 환경에서 운영되는 DBS의 일반화 능력과 수렴 속도를 향상시킨다.
• 각 DBS가 자체 정책을 최적화하면서도 전반적인 팀 성능 기여를 가능하게 하는 확장 가능한 분산 학습 프레임워크를 개발한다.

제안 방법

• 지상 사용자 중 서비스를 받는 비율을 최대화하기 위해 DBS 경로 설계 문제를 비볼록 최적화 문제로 수립한다.
• 팀 수준의 성능 최적화를 유지하면서도 분산된 정책 학습을 가능하게 하는 가치 분해 기반 강화학습(VD-RL) 알고리즘을 제안한다.
• 기존 작업에서 학습한 지식을 바탕으로 새로운 예측 불가능한 환경에 신속히 적응할 수 있도록 VD-RL 프레임워크에 메타학습을 통합한다.
• 중앙 집중식 크리틱을 사용해 팀 성능를 추정하고 에이전트 간의 이점 함수를 분해함으로써, 전체 상태 공유 없이도 협동 학습을 가능하게 한다.
• 유연한 학습률을 적용한 분산 정책 그래디언트 업데이트를 구현하여 온건한 조건 하에서도 수렴을 보장한다.
• 다양한 작업 분포를 기반으로 정책 및 가치 함수 파라미터를 사전 학습하는 메타학습 메커니즘을 도입하여 제로샷 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 에너지 제약이 있는 드론 팀은 변동성이 크고 예측 불가능한 사용자 요청 환경에서 어떻게 협동적으로 경로를 설계하여 커버리지를 최대화할 수 있는가?
• RQ2 모든 상태 또는 행동 정보 공유 없이도 분산된 다중 에이전트 강화학습 접근 방식이 팀 전체 커버리지를 효과적으로 최적화할 수 있는가?
• RQ3 메타학습 통합이 새로운 환경에서 DBS 경로 정책의 수렴 속도와 일반화 능력을 어느 정도 향상시키는가?
• RQ4 비볼록이며 다중 에이전트 환경에서 제안된 VD-RL 알고리즘의 수렴에 대해 이론적으로 어떤 보장을 제공할 수 있는가?
• RQ5 기존의 다중 에이전트 RL 및 최적화 기반 경로 설계 방법에 비해 제안된 방법은 성능와 적응 능력 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 VD-RL 알고리즘은 기준선 다중 에이전트 강화학습 알고리즘 대비 서비스 커버리지에서 53.2% 향상된다.
• 메타학습 없이도 VD-RL 알고리즘이 기준선 방법 대비 수렴 속도를 30.6% 향상시킨다.
• 메타학습 통합으로 인해 예측 불가능한 작업에 대응할 때 VD-RL 알고리즘의 수렴 속도가 최대 53.8% 향상된다.
• 이론적 분석을 통해 VD-RL 알고리즘이 온건한 조건 하에서 비볼록 최적화 문제의 국소 최적해로 수렴함을 증명한다.
• 각 DBS가 분산 학습 조건에서도 팀 전체 성능 기여를 최대화하는 국소 최적 전략으로 수렴함을 보장한다.
• 메타학습 덕분에 새로운 환경에 효과적으로 일반화되어 새로운 작업 분포에 대한 광범위한 재학습이 필요로 하는 것을 줄인다.