[논문 리뷰] Finite-Sample Analyses for Fully Decentralized Multi-Agent Reinforcement Learning.

Kaiqing Zhang, Zhuoran Yang외 3명|arXiv (Cornell University)|2018. 12. 06.

Game Theory and Applications인용 수 20

한 줄 요약

이 논문은 완전히 탈중앙화된 다중 에이전트 강화학습(MARL)에 대한 최초의 유한 표본 분석을 제안하며, 시간 변화하는 네트워크에서 상호협력하거나 0-합 경쟁 게임에서 경쟁하는 에이전트 팀을 위한 배치 MARL 알고리즘을 제안한다. 행동가치 함수 추정의 통계적 오차를 정량화하여 탈중앙화된 계산으로 인한 추가 오차 항을 밝혀내며, 함수 클래스, 반복당 표본 수, 반복 횟수 등이 정확도에 미치는 영향을 규명한다.

ABSTRACT

Despite the increasing interest in multi-agent reinforcement learning (MARL) in the community, understanding its theoretical foundation has long been recognized as a challenging problem. In this work, we make an attempt towards addressing this problem, by providing finite-sample analyses for fully decentralized MARL. Specifically, we consider two fully decentralized MARL settings, where teams of agents are connected by time-varying communication networks, and either collaborate or compete in a zero-sum game, without the absence of any central controller. These settings cover many conventional MARL settings in the literature. For both settings, we develop batch MARL algorithms that can be implemented in a fully decentralized fashion, and quantify the finite-sample errors of the estimated action-value functions. Our error analyses characterize how the function class, the number of samples within each iteration, and the number of iterations determine the statistical accuracy of the proposed algorithms. Our results, compared to the finite-sample bounds for single-agent RL, identify the involvement of additional error terms caused by decentralized computation, which is inherent in our decentralized MARL setting. To our knowledge, our work appears to be the first finite-sample analyses for MARL, which sheds light on understanding both the sample and computational efficiency of MARL algorithms.

연구 동기 및 목표

• 완전히 탈중앙화된 다중 에이전트 강화학습(MARL)의 이론적 기반 부족 문제를 해결하기 위해.
• 중앙 제어자가 없는 탈중앙화된 MARL 환경에서 행동가치 함수 추정의 통계적 정확도를 분석하기 위해.
• 함수 클래스, 반복당 표본 수, 반복 횟수 등이 탈중앙화된 MARL에서 학습 정확도에 미치는 영향을 정량화하기 위해.
• 단일 에이전트 RL과는 다름없이 탈중앙화된 계산으로 인해 발생하는 오차 항을 식별하고 특성화하기 위해.
• 시간 변화하는 통신 네트워크를 가진 상호협력적 및 0-합 경쟁적 설정에서 MARL에 대한 유한 표본 경계를 제공하기 위해.

제안 방법

• 중앙 제어자가 없는 환경에서 완전히 탈중앙화된 구현을 위한 배치 MARL 알고리즘을 제안한다.
• 시간 변화하는 통신 네트워크를 통해 연결된 에이전트 팀을 모델링하며, 상호협력적 및 0-합 경쟁적 설정을 모두 지원한다.
• 함수 근사 기법을 사용하여 행동가치 함수를 추정하고, 오차 분석은 함수 클래스 선택에 기반한다.
• 유한 표본 오차를 근사 오차, 추정 오차, 탈중앙화된 계산에 의해 유도된 구성요소로 분해하여 분석한다.
• 국소 데이터와 이웃 에이전트 간의 통신을 통한 반복적 업데이트를 활용하여 탈중앙화 학습을 가능하게 하며, 시간에 따른 오차 누적도 추적한다.
• 네트워크 동역학성과 탈중앙화된 조정이 통계적 정확도에 미치는 영향을 명시적으로 보여주는 유한 표본 경계를 유도한다.

실험 결과

연구 질문

• RQ1 탈중앙화된 계산은 중심화 또는 단일 에이전트 설정과 비교해 다중 에이전트 가치 함수 추정의 통계적 오차에 어떤 영향을 미치는가?
• RQ2 시간 변화하는 통신 네트워크에서 상호협력적 및 경쟁적 설정에서 완전히 탈중앙화된 MARL 알고리즘의 유한 표본 수렴 행동은 어떠한가?
• RQ3 함수 클래스의 크기, 반복당 표본 수, 반복 횟수는 함께 행동가치 함수 학습 정확도에 어떤 영향을 미치는가?
• RQ4 통신 제약과 시간 변화하는 네트워크로 인해 탈중앙화된 MARL에서 발생하는 추가 오차 항은 무엇인가?
• RQ5 중앙 제어자가 없는 MARL에 대해 유한 표본 경계를 도출할 수 있으며, 이는 단일 에이전트 RL 경계와 어떻게 다를 수 있는가?

주요 결과

• 논문은 단일 에이전트 강화학습에서는 존재하지 않지만 탈중앙화된 계산으로 인해 발생하는 추가 오차 항을 식별한다.
• 함수 클래스 복잡도, 반복당 표본 수, 반복 횟수에 명시적으로 의존하는 유한 표본 오차 경계를 도출한다.
• 오차 경계는 통신 및 조정 제약로 인해 탈중앙화된 MARL이 단일 에이전트 RL보다 더 높은 통계적 오차를 유발한다는 것을 보여준다.
• 제안된 배치 MARL 알고리즘은 시간 변화하는 통신 네트워크 하에서 상호협력적 및 0-합 경쟁적 설정 모두에서 증명 가능한 통계적 정확도를 달성한다.
• 분석 결과, 가치 함수 추정의 수렴 속도는 네트워크 연결성과 통신 그래프의 혼합 성질에 영향을 받는다.
• 본 연구는 완전히 탈중앙화된 MARL에 대한 최초의 유한 표본 분석을 제공하며, 표본 및 계산 효율성 이해를 위한 이론적 기반을 구축한다.