[논문 리뷰] Finite-Sample Analysis For Decentralized Batch Multi-Agent Reinforcement Learning With Networked Agents

Kaiqing Zhang, Zhuoran Yang외 3명|arXiv (Cornell University)|2018. 12. 06.

Distributed Control Multi-Agent Systems참고 문헌 69인용 수 4

한 줄 요약

이 논문은 시간에 따라 변화하는 통신 네트워크를 갖는 협동적 및 경쟁적 환경에서 분산형 배치 다중에이전트 강화학습(MARL)에 대한 최초의 유한표본 분석을 제시한다. 분산 최적화(예: DIGing)를 사용하는 분산형 피팅된 Q-반복 알고리즘을 제안하고, 함수 클래스, 표본 크기, 계산 반복 횟수의 영향을 통계적 정확도에 대해 정량화하는 오차 경계를 수립한다. 이 경계에는 분산 계산으로 인한 추가 오차 항이 포함되어 있다.

ABSTRACT

Despite the increasing interest in multi-agent reinforcement learning (MARL) in multiple communities, understanding its theoretical foundation has long been recognized as a challenging problem. In this work, we address this problem by providing a finite-sample analysis for decentralized batch MARL with networked agents. Specifically, we consider two decentralized MARL settings, where teams of agents are connected by time-varying communication networks, and either collaborate or compete in a zero-sum game setting, without any central controller. These settings cover many conventional MARL settings in the literature. For both settings, we develop batch MARL algorithms that can be implemented in a decentralized fashion, and quantify the finite-sample errors of the estimated action-value functions. Our error analysis captures how the function class, the number of samples within each iteration, and the number of iterations determine the statistical accuracy of the proposed algorithms. Our results, compared to the finite-sample bounds for single-agent RL, involve additional error terms caused by decentralized computation, which is inherent in our decentralized MARL setting. This work appears to be the first finite-sample analysis for batch MARL, a step towards rigorous theoretical understanding of general MARL algorithms in the finite-sample regime.

연구 동기 및 목표

• 중앙 조정이 없는 분산 설정에서 다중에이전트 강화학습(MARL)에 대한 유한표본 이론적 보장을 제공하지 못하는 문제를 해결한다.
• 시간에 따라 변화하는 통신 네트워크를 갖는 협동적 및 경쟁적(제로섬) 설정에서 배치 MARL 알고리즘에 대한 엄밀한 유한표본 오차 분석을 제공한다.
• 함수 클래스의 복잡성, 각 반복에서의 표본 수, 반복 횟수가 분산형 MARL 알고리즘의 통계적 정확도에 어떻게 영향을 미치는지 규명한다.
• 분산형 MARL에서 고유하게 존재하는 분산 계산 오차를 분리하고 정량화하는 성능 경계를 수립한다. 이는 단일에이전트 또는 중심화된 설정에서는 존재하지 않는 오차이다.
• 배치 MARL에 대한 선형 함수 근사와 함께, 비점근적이고 유한표본 수렴 보장을 제공함으로써 경험적 MARL의 발전과 이론적 이해 간 격차를 메운다.

제안 방법

• 중앙 제어자가 없는 분산형 환경에서 작동하는 협동적 및 경쟁적 MARL 설정에 대해 분산형 피팅된 Q-반복 알고리즘을 제안한다. 에이전트들은 시간에 따라 변화하는 네트워크를 통해 통신한다.
• 각 반복에서 가치함수 피팅 문제를 해결하기 위해 분산형 경사하강법인 DIGing 알고리즘을 사용하여 에이전트 간 분산 계산을 가능하게 한다.
• 단일 경로의 데이터를 사용하는 배치 학습 프레임워크를 도입함으로써, 오프-폴리시 평가가 가능하고, 함수 근사를 통해 큰 상태-행동 공간을 다룰 수 있다.
• 통계학적 학습 이론 도구를 적용하여 유한 개의 반복과 표본 수 이후의 행동가치함수 추정 오차를 경계한다.
• 세 가지 구성 요소로 분해되는 유한표본 오차 경계를 유도한다: 추정 오차(데이터로부터), 분산 계산 오차(네트워크화된 에이전트로부터), 근사 오차(함수 클래스로부터).
• 선형 함수 근사 설정에서는 특징 차원, 표본 수, 분산 계산의 내부 루프 반복 횟수의 함수로 오차에 대한 명시적 경계를 유도한다.

실험 결과

연구 질문

• RQ1 분산형 배치 MARL의 유한표본 성능은 표본 수, 함수 클래스의 복잡성, 반복 횟수에 어떻게 의존하는가?
• RQ2 분산 계산은 표준 단일에이전트 RL 경계를 초월해 추가 오차 항을 어떻게 유도하는가?
• RQ3 이질적인 보상과 중앙 제어자가 없는 환경에서 협동적 MARL에 대해 유한표본 수렴 보장을 확보할 수 있는가?
• RQ4 선형 근사 설정에서 함수 클래스의 차원(예: 특징 차원)이 알고리즘 성능에 어떻게 영향을 미치는가?
• RQ5 분산 최적화 절차에서 내부 루프 반복 횟수를 늘림으로써 분산 계산 오차를 얼마나 줄일 수 있는가?

주요 결과

• 제안된 배치 MARL 알고리즘은 추정 오차, 분산 계산 오차, 근사 오차 항을 포함하는 유한표본 수렴을 달성한다.
• 더 많은 표본(더 큰 T)이 존재할수록 추정 오차가 감소하며, 이는 T를 증가시킬수록 시뮬레이션에서 외부 루프의 수렴을 통해 확인된다.
• 더 많은 내부 루프 반복 횟수(L)가 존재할수록 분산 계산 오차가 감소하지만, L ≈ 100 이후에는 성능 향상의 효과가 둔화되어 수익 감소 현상이 나타난다.
• 더 큰 특징 차원(d)은 더 작은 근사 오차를 유도한다. 더 rich한 함수 클래스가 진짜 가치함수를 더 잘 표현하기 때문이다. 이는 시뮬레이션에서 향상된 성능으로 확인된다.
• 상대적으로 작은 L(예: L=10)일지라도 알고리즘이 여전히 수렴함을 보여, 초기 분산 계산 오차에 대해 강건함을 입증한다.
• 이론적 경계는 배치 MARL에 대해 최초의 것들로서, 분산형 MARL 알고리즘의 통계적 효율성 이해를 위한 기초 단계를 제공한다.