[논문 리뷰] Value Propagation for Decentralized Networked Deep Multi-agent Reinforcement Learning

Chao Qu, Shie Mannor외 4명|arXiv (Cornell University)|2019. 01. 27.

Traffic control and management인용 수 9

한 줄 요약

이 논문은 소프트맥스 시간 일관성을 사용하여 완전히 탈중앙화된, 오프-폴리시, 비선형 함수 근사 설정에서 효율적이고 비점근적 수렴을 가능하게 하는 새로운 탈중앙화 다중에이전트 강화학습 알고리즘인 Value Propagation를 제안한다. 이 알고리즘은 O(1/T) 수렴 속도를 달성하며, 이는 이 도전적인 MARL 환경에서 처음으로 보장된 수렴 속도이다.

ABSTRACT

We consider the networked multi-agent reinforcement learning (MARL) problem in a fully decentralized setting, where agents learn to coordinate to achieve joint success. This problem is widely encountered in many areas including traffic control, distributed control, and smart grids. We assume each agent is located at a node of a communication network and can exchange information only with its neighbors. Using softmax temporal consistency, we derive a primal-dual decentralized optimization method and obtain a principled and data-efficient iterative algorithm named {\em value propagation}. We prove a non-asymptotic convergence rate of $\mathcal{O}(1/T)$ with nonlinear function approximation. To the best of our knowledge, it is the first MARL algorithm with a convergence guarantee in the control, off-policy, non-linear function approximation, fully decentralized setting.

연구 동기 및 목표

• 제한된 통신 환경에서 다수의 에이전트를 완전히 탈중앙화된 네트워크 환경에서 조율하는 문제를 해결하기 위해.
• 오프-폴리시 학습과 비선형 함수 근사 조건에서 작동하는 데이터 효율적이고 확장 가능한 MARL 알고리즘을 개발하기 위해.
• 비선형 함수 근사 조건이 적용되는 탈중앙화된 환경에서 MARL의 이론적 수렴 보장을 확립하기 위해.
• 지역적 통신과 탈중앙화 최적화를 통해 에이전트들이 공동 정책을 학습할 수 있도록 하기 위해.

제안 방법

• 에이전트 간의 가치 함수를 일치시키기 위해 소프트맥스 시간 일관성을 활용한 원시-이중 탈중앙화 최적화 프레임워크를 유도한다.
• 지역 정보와 이웃 간 교환을 기반으로 가치 추정치를 업데이트하는 반복 알고리즘인 Value Propagation를 제안한다.
• 복잡한 정책 표현을 가능하게 하기 위해 비선형 함수 근사기를 가치 함수 표현에 활용한다.
• 중앙 집중적 조율 없이도 에이전트 간 일관성을 유지하는 탈중앙화 최적화 기법을 사용한다.
• 제안된 최적화 프레임워크 하에 비점근적 분석을 통해 수렴성을 확립한다.

실험 결과

연구 질문

• RQ1 탈중앙화 MARL 알고리즘이 비선형 함수 근사 조건에서 비점근적 수렴을 달성할 수 있는가?
• RQ2 완전히 탈중앙화된, 오프-폴리시 MARL 환경에서 데이터 효율성과 조율를 유지할 수 있는가?
• RQ3 지역적 통신만을 사용하여 에이전트 간 가치 함수를 어떻게 일관되게 일치시킬 수 있는가?
• RQ4 이 도전적인 MARL 환경에서 이론적 수렴 속도는 얼마일 수 있는가?

주요 결과

• Value Propagation는 완전히 탈중앙화된, 오프-폴리시, 비선형 함수 근사 설정에서 비점근적 수렴 속도 O(1/T)를 달성한다.
• 이것은 이러한 조건 하에서 그러한 수렴 보장을 제공하는 첫 번째 MARL 알고리즘이다.
• 알고리즘은 중앙 집중적 조율 없이도 소프트맥스 시간 일관성을 활용하여 에이전트 간 가치 함수 일치를 보장한다.
• 탈중앙화적이고 반복적인 업데이트 메커니즘 덕분에 데이터 효율적이고 확장 가능하다.