[논문 리뷰] Multi-Agent Reinforcement Learning Based Resource Allocation for UAV Networks

Jingjing Cui, Yuanwei Liu외 1명|arXiv (Cornell University)|2018. 10. 24.

UAV Applications and Optimization참고 문헌 34인용 수 17

한 줄 요약

이 논문은 UAV 네트워크에서 동적 자원 할당을 위한 다중 에이전트 강화학습(MARL) 프레임워크를 제안한다. 각 UAV는 분산형 Q-학습 접근법을 사용하여 독립적으로 사용자, 전력 수준, 서브채널을 선택한다. 이 방법은 최소한의 상호 UAV 통신으로 근사 최적 성능를 달성하며, 불확실한 환경에서 성능 향상과 오버헤드 사이의 균형을 이룬다.

ABSTRACT

Unmanned aerial vehicles (UAVs) are capable of serving as aerial base stations (BSs) for providing both cost-effective and on-demand wireless communications. This article investigates dynamic resource allocation of multiple UAVs enabled communication networks with the goal of maximizing long-term rewards. More particularly, each UAV communicates with a ground user by automatically selecting its communicating users, power levels and subchannels without any information exchange among UAVs. To model the uncertainty of environments, we formulate the long-term resource allocation problem as a stochastic game for maximizing the expected rewards, where each UAV becomes a learning agent and each resource allocation solution corresponds to an action taken by the UAVs. Afterwards, we develop a multi-agent reinforcement learning (MARL) framework that each agent discovers its best strategy according to its local observations using learning. More specifically, we propose an agent-independent method, for which all agents conduct a decision algorithm independently but share a common structure based on Q-learning. Finally, simulation results reveal that: 1) appropriate parameters for exploitation and exploration are capable of enhancing the performance of the proposed MARL based resource allocation algorithm; 2) the proposed MARL algorithm provides acceptable performance compared to the case with complete information exchanges among UAVs. By doing so, it strikes a good tradeoff between performance gains and information exchange overheads.

연구 동기 및 목표

• 최소한의 상호 UAV 정보 교환으로 다중 UAV 네트워크에서의 동적 자원 할당 문제를 해결하기 위해.
• 장기 보상 최대화를 위해 자원 할당 문제를 확률적 게임으로 모델링하기 위해.
• 각 UAV가 국소 관측 기반으로 최적 전략을 학습할 수 있도록 분산형 MARL 알고리즘을 개발하기 위해.
• 동적 UAV 네트워크에서 성능와 통신 오버헤드 사이의 트레이드오프를 평가하기 위해.

제안 방법

• 각 UAV가 독립적인 학습 에이전트로 행동하는 확률적 게임으로 자원 할당 문제를 수식화한다.
• 공유된 아키텍처를 갖지만 독립적인 의사결정을 하는 Q-학습 기반의 에이전트 독립형 MARL 방법을 적용한다.
• 상태 전이, 보상, 할인 인자 δ를 포함하는 Q-함수 갱신 규칙을 사용하여 장기적 가치를 모델링한다.
• 수축 사상 이론을 적용하여 Q-값 함수가 최적 해로 수렴함을 증명한다.
• 유한한 분산과 거의 확실한 수렴을 보장하는 학습 갱신 규칙을 도입한다.
• 환경의 불확실성과 비정상성을 다루기 위해 확률적 근사 프레임워크를 활용한다.

실험 결과

연구 질문

• RQ1 완전한 정보 교환 없이도 분산형 MARL 접근법이 다중 UAV 네트워크에서 근사 최적 자원 할당을 달성할 수 있는가?
• RQ2 탐색과 이용의 트레이드오프는 MARL 기반 자원 할당 알고리즘의 성능에 어떤 영향을 미치는가?
• RQ3 제안된 분산형 MARL과 완전한 정보 교환을 가진 중심화된 방법 사이의 성능 격은 얼마인가?
• RQ4 환경의 불확실성 하에서 제안된 MARL 프레임워크가 최적 정책으로 수렴하는가?
• RQ5 동적 UAV 네트워크에서 알고리즘이 성능 향상과 통신 오버헤드 사이를 어떻게 균형 잡는가?

주요 결과

• 탐색과 이용 파rameter의 적절한 튜닝이 제안된 MARL 알고리즘의 성능을 크게 향상시킨다.
• MARL 기반 접근법은 완전한 정보 교환을 가진 중심화된 방법과 유사한 성능를 달성한다.
• 알고리즘이 성능 향상과 통신 오버헤드 사이에 유리한 트레이드오프를 확립하여 실시간 UAV 네트워크에 적합하다.
• 이론적 분석을 통해 제안된 학습 규칙 하에서 Q-값 함수가 거의 확실하게 최적 해로 수렴함을 확인한다.
• 학습 갱신의 분산이 유한하므로, 확률적 환경에서 안정적이고 신뢰할 수 있는 수렴을 보장한다.
• Q-갱신 연산자의 수축 성질이 최적 정책으로의 수렴을 보장한다.