[논문 리뷰] Decentralized Multi-Agent Reinforcement Learning with Networked Agents: Recent Advances

Kaiqing Zhang, Zhuoran Yang외 1명|arXiv (Cornell University)|2019. 12. 09.

Distributed Control Multi-Agent Systems참고 문헌 68인용 수 19

한 줄 요약

이 논문은 네트워크화된 에이전트를 갖는 분산형 다중에이전트 강화학습(MARL) 분야에서 최근 이론적 진전을 검토한다. 여기서 에이전트들은 중앙 제어자 없이 국소적 통신을 통해 협업한다. 이 논문은 공감 기반 정책 기울기 및 액터-크리틱 방법과 같은 알고리즘을 제안하고 분석하여, 표본 복잡도와 통신 효율성에 대한 이론적 보장을 갖춘 분산형 네트워크 설정에서 수렴성을 입증한다.

ABSTRACT

Multi-agent reinforcement learning (MARL) has long been a significant and everlasting research topic in both machine learning and control. With the recent development of (single-agent) deep RL, there is a resurgence of interests in developing new MARL algorithms, especially those that are backed by theoretical analysis. In this paper, we review some recent advances a sub-area of this topic: decentralized MARL with networked agents. Specifically, multiple agents perform sequential decision-making in a common environment, without the coordination of any central controller. Instead, the agents are allowed to exchange information with their neighbors over a communication network. Such a setting finds broad applications in the control and operation of robots, unmanned vehicles, mobile sensor networks, and smart grid. This review is built upon several our research endeavors in this direction, together with some progresses made by other researchers along the line. We hope this review to inspire the devotion of more research efforts to this exciting yet challenging area.

연구 동기 및 목표

• 다중에이전트 강화학습(MARL)의 이론적 분석 과제, 특히 네트워크화된 에이전트를 갖는 분산 설정에서의 과제를 해결한다.
• 지역적 통신을 통해 분산형 의사결정을 가능하게 하여 MARL에 내재된 확장성 및 비정적 안정성 문제를 극복한다.
• 분산 최적화와 공감 이론의 통찰을 활용하여 수렴성과 표본 복잡도가 입증된 MARL 알고리즘을 개발한다.
• 트리거 기반 및 스칼라 통신 메커니즘을 통해 MARL의 통신 효율성을 향상시켜 통신 오버헤드를 감소시킨다.
• 딥 리프레젠테이션 함수 근사와 함께 이론적 기반에 부족한 딥 RL 환경에서도 이론적 프레임워크를 분산형 MARL로 확장한다.

제안 방법

• 에이전트들이 중앙 조율 없이 국소 관측과 이웃 에이전트와의 통신만을 사용하는 분산형 MARL 프레임워크를 제안한다.
• 협동적 MARL에서 학습 안정성과 이론적 분석 가능성을 높이기 위해 중심화된 크리틱-분산형 액터 아키텍처를 활용한다.
• 이중 스토하스틱 혼합 행렬을 사용해 네트워크 전반에 걸쳐 기울기를 집계하는 공감 기반 정책 기울기 방법을 도입한다.
• 확산 기반 업데이트를 사용하는 분산 액터-크리틱 알고리즘을 적용하여, 네트워크 제약 조건 하에서도 최적 정책으로 수렴함을 보장한다.
• 통신 라운드를 줄이기 위해 라이지리 어그리게이티드 정책 기울기(LAPG) 및 스칼라만의 상태 전송과 같은 통신 효율성 메커니즘을 설계한다.
• 이중성 이론과 확률적 근사법을 사용하여 네트워크 MDP에서의 분산 정책 평가 및 학습에 대한 수렴 보장을 유도한다.

실험 결과

연구 질문

• RQ1 중앙 제어자가 없는 상황에서 분산형 MARL 알고리즘이 어떻게 수렴성과 표본 효율성을 달성할 수 있는가?
• RQ2 네트워크 구조가 분산형 MARL의 수렴성과 통신 효율성에 어떤 역할을 하는가?
• RQ3 이론적 수렴 보장을 유지하면서 MARL의 통신 오버헤드를 줄일 수 있는가?
• RQ4 다른 에이전트들의 동시 정책 업데이트로 인한 비정적 안정성 문제를 분산형 MARL 알고리즘이 어떻게 다루는가?
• RQ5 딥 신경망을 사용하는 MARL에 대해 분산형 네트워크 설정에서 어떤 이론적 기초를 확립할 수 있는가?

주요 결과

• 제안된 분산형 MARL 알고리즘은 협동 설정 하에서 최적 정책으로 수렴하며, 표본 복잡도에 대한 이론적 보장을 갖는다.
• 이중 스토하스틱 혼합 행렬을 사용하는 공감 기반 정책 기울기 방법은 평균 정책이 정적 점으로 수렴함을 보장한다.
• LAPG 및 스칼라 전송과 같은 통신 효율성 알고리즘은 이론적 분석을 통해 통신 횟수를 줄이면서도 수렴성을 유지함을 입증한다.
• 이중성 이론과 기울기-TD 업데이트를 기반으로 한 분산 액터-크리틱 방법은 독립 MDP 설정에서 하위선형 평균 제곱 오차 수렴 속도를 확보한다.
• 시간에 따라 변하는 통신 네트워크 조건 하에서도 분산형 MARL의 이론적 수렴이 확립되어 있으며, 이는 동적 환경로의 적용 가능성을 넓힌다.
• 프레임워크는 딥 함수 근사기능을 갖는 MARL의 이론적 분석을 지원하지만, 아직는 실증적 성공이 이론적 이해를 앞서고 있다.