[논문 리뷰] Provably Efficient Cooperative Multi-Agent Reinforcement Learning with Function Approximation

Abhimanyu Dubey, Alex Pentland|arXiv (Cornell University)|2021. 03. 08.

Advanced Bandit Algorithms Research인용 수 5

한 줄 요약

이 논문은 선형 함수 근사와 제한된 통신 환경 하에서 near-optimal no-regret 학습을 달성하는 증명 가능하게 효율적인 협동 다중에이전트 강화학습 알고리즘인 CoopLSVI를 제안한다. 편향 보정 추정기와 전략적 통신 스케줄링을 도입하여, 통신이 제한된 환경에서도 분산형, 이종적 다중에이전트 학습을 가능하게 하며, 동종 설정에서는 중심집중형 성능과 동일한 회귀 한계를 확보하고, 이종 MDP에서는 파레토 최적 정책을 달성한다.

ABSTRACT

Reinforcement learning in cooperative multi-agent settings has recently advanced significantly in its scope, with applications in cooperative estimation for advertising, dynamic treatment regimes, distributed control, and federated learning. In this paper, we discuss the problem of cooperative multi-agent RL with function approximation, where a group of agents communicates with each other to jointly solve an episodic MDP. We demonstrate that via careful message-passing and cooperative value iteration, it is possible to achieve near-optimal no-regret learning even with a fixed constant communication budget. Next, we demonstrate that even in heterogeneous cooperative settings, it is possible to achieve Pareto-optimal no-regret learning with limited communication. Our work generalizes several ideas from the multi-agent contextual and multi-armed bandit literature to MDPs and reinforcement learning.

연구 동기 및 목표

• 제한된 통신 환경 하에서 함수 근사를 통한 분산형, 증명 가능하게 효율적인 다중에이전트 강화학습 알고리즘 개발.
• 단일에이전트에서의 no-regret 학습 보장을 선형 함수 근사와 함께 협동 다중에이전트 설정으로 확장.
• 이종 MDP를 해결하기 위해 통신 비용이 제한된 상태에서 파레토 최적 정책 학습을 가능하게 함.
• 다중에이전트 범주에서 다중 패트리얼 밴딧 및 컨텍스트 밴딧 기법을 유행형 MDP로 일반화.
• 동종 설정에서는 중심집중형 성능에 도달하는 회귀 한계를 확보하면서도, 이종 설정에서도 효율성을 유지함.

제안 방법

• 선형 함수 근사를 적용한 협동 다중에이전트 강화학습을 위한 분산형 최소제곱가치반복 알고리즘인 CoopLSVI를 제안.
• 에이전트의 MDP 간 이종성에 기인한 편향을 보정하기 위해 편향 보정 추정기를 설계.
• 특정 에피소드에만 통계를 동기화하는 전략적 통신 프로토콜을 도입하여 통신 횟수를 O(HM³)로 제한하며, T에 독립적인 통신 라운드를 확보.
• 다목적 최적화에서의 무작위 스칼라화 기법을 활용해 다중에이전트 MDP에서 파레토 최적 정책을 복구.
• 탐색과 이용을 균형 있게 조절하기 위해 신뢰구간을 적용한 낙관적 최소제곱가치반복을 사용.
• 타원형 잠재 이론과 커버링 추론 기법을 활용해 일반화 한계를 유도하고 추정 오차를 통제.

실험 결과

연구 질문

• RQ1 제한된 통신 환경 하에서 함수 근사를 통한 협동 다중에이전트 강화학습에서 no-regret 학습을 달성할 수 있는가?
• RQ2 에이전트의 MDP 간 이종성은 어떻게 효과적으로 모델링하고 보완할 수 있는가?
• RQ3 함수 근사를 사용할 때, 협동 다중에이전트 MDP에서 파레토 최적 정책을 효율적으로 학습할 수 있는가?
• RQ4 어떤 통신 스케줄링 전략이 최소한의 통신 오버헤드로 near-optimal 회귀 성능을 달성하는가?
• RQ5 제안된 알고리즘이 동종 설정에서 중심집중형 학습 성능에 도달하는 회귀 한계를 확보하는가?

주요 결과

• CoopLSVI 알고리즘은 병렬 MDP 설정에서 그룹 회귀 한계 Õ((d+k)H²√((d+χ)MT))를 달성한다. 여기서 χ는 MDP 이종성의 척도이며, k는 이종성의 차원이다.
• 동종 설정에서는 중심집중형 단일에이전트의 회귀 한계 Õ(H²√(d³MT))와 일치하여 최적성의 증명을 확보한다.
• 알고리즘은 총 O(HM³)회의 통신 라운드만 요구하며, 에피소드 수 T에 독립적이므로 효율적인 분산 학습을 가능하게 한다.
• 이종 다중에이전트 MDP에서는 누적 베이즈 회귀 한계 Õ(H²√(d³T))를 달성하여, 파레토 최적 정책 학습에 대해 처음으로 이러한 no-regret 한계를 확보한다.
• 분석 결과, 추정기가 MDP 이종성에 기인한 편향을 효과적으로 통제하여 모든 에이전트에서 안정적인 학습이 가능함을 입증한다.
• 커버링 추론과 행렬 농도 불등식을 통해 일반화 성능이 보장되며, 모델 파라미터에 의존하는 로그 크기의 커버링 수를 확보한다.