[논문 리뷰] Independent Policy Gradient for Large-Scale Markov Potential Games: Sharper Rates, Function Approximation, and Game-Agnostic Convergence

Dong-Sheng Ding, Chen-Yu Wei외 2명|arXiv (Cornell University)|2022. 02. 08.

Reinforcement Learning in Robotics인용 수 7

한 줄 요약

이 논문은 대규모 마르코프 포텐셜 게임(Markov potential games, MPGs)에 대한 독립적 정책 기울기 알고리즘을 제안하며, 상태 공간 크기의 명시적 의존 없이 ε-네시 균형을 구하기 위한 O(1/ε²) 반복 복잡도와 선형 함수 근사와 함께 O(1/ε⁵) 샘플 복잡도를 달성한다. 또한, 제로섬 및 협력적 마르코프 게임 양쪽 모두에서 옵timistic 정책 기울기 방법의 게임 무관 수렴성을 확립하며, 초기 상태 분포에 대한 강건성에 대한 경험적 검증을 수행한다.

ABSTRACT

We examine global non-asymptotic convergence properties of policy gradient methods for multi-agent reinforcement learning (RL) problems in Markov potential games (MPG). To learn a Nash equilibrium of an MPG in which the size of state space and/or the number of players can be very large, we propose new independent policy gradient algorithms that are run by all players in tandem. When there is no uncertainty in the gradient evaluation, we show that our algorithm finds an $ε$-Nash equilibrium with $O(1/ε^2)$ iteration complexity which does not explicitly depend on the state space size. When the exact gradient is not available, we establish $O(1/ε^5)$ sample complexity bound in a potentially infinitely large state space for a sample-based algorithm that utilizes function approximation. Moreover, we identify a class of independent policy gradient algorithms that enjoys convergence for both zero-sum Markov games and Markov cooperative games with the players that are oblivious to the types of games being played. Finally, we provide computational experiments to corroborate the merits and the effectiveness of our theoretical developments.

연구 동기 및 목표

• 대규모 다중 에이전트 강화 학습에서 독립적 정책 기울기 방법에 대한 비점근 전역 수렴 보장의 부족을 해결하기 위해.
• 마르코프 포텐셜 게임(MP grand games)에서 상태 공간 크기와 플레이어 수에 따라 효율적으로 스케일링되는 알고리즘 개발을 위해.
• 플레이어가 게임 유형을 알지 못해도 되는 단일 알고리즘이 제로섬 및 협력적 마르코프 게임 양쪽 모두에서 수렴하도록 보장하기 위해.
• 함수 근사 설정에서 MP grand games의 반복 및 샘플 복잡도에 대한 이론적 경계를 제공하기 위해.
• 계산 실험을 통해 제안된 방법이 초기 상태 분포에 대해 강건한지를 검증하기 위해.

제안 방법

• 알고리즘 1: 상태 공간 크기와 무관하게 O(1/ε²) 반복 복잡도를 갖는 MP grand games를 위한 독립적 정책 기울기 방법을 제안한다.
• 알고리즘 2: 선형 함수 근사를 사용하는 샘플 기반 정책 기울기 방법을 도입하여, 잠재적으로 무한한 상태 공간에서도 O(1/ε⁵) 샘플 복잡도를 달성한다.
• 알고리즘 3: 제로섬 및 협력적 마르코프 게임 모두에서 수렴하는 옵티미스틱 정책 기울기 변형을 설계하여, 마르코프 게임에서 처음으로 게임 무관 수렴 결과를 도출한다.
• 정책 매개수 파arameterization과 함께 투영된 기울기 상승을 활용하며, 플레이어 간 업데이트를 분리하기 위해 포텐셜 게임 구조를 활용한다.
• 큰 또는 무한한 상태 공간을 다루기 위해 함수 근사를 사용하는 정책 기울기 추정기를 사용한다.
• 다양한 초기 상태 분포를 사용한 경험적 평가를 통해 ρ에 민감하지 않음을 입증함으로써 이론적 주장의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 독립적 정책 기울기 방법은 대규모 마르코프 포텐셜 게임에서 비점근 전역 수렴을 달성할 수 있는가?
• RQ2 상태 공간 크기가 크거나 무한할 경우, MP grand games에서 독립적 정책 기울기 방법의 반복 복잡도는 어떻게 되는가?
• RQ3 함수 근사를 효과적으로 독립적 정책 기울기 방법과 결합할 수 있는가? 이때 수렴 보장이 유지되는가?
• RQ4 제로섬 및 협력적 마르코프 게임 모두에서 수렴하는 단일 정책 기울기 알고리즘이 존재하는가? 이때 게임 유형을 사전에 알 필요가 없는가?
• RQ5 실제로 제안된 알고리즘의 성능은 초기 상태 분포에 어떻게 의존하는가?

주요 결과

• 제안된 독립적 정책 기울기 방법은 상태 공간 크기와 무관하게 MP grand games에서 ε-네시 균형을 찾기 위해 O(1/ε²) 반복 복잡도를 달성한다.
• 선형 함수 근사를 사용할 경우, 샘플 기반 알고리즘이 잠재적으로 무한한 상태 공간에서도 O(1/ε⁵) 샘플 복잡도를 달성한다.
• 옵티미스틱 정책 기울기 알고리즘은 제로섬 및 협력적 마르코프 게임 모두에서 수렴하며, 마르코프 게임에서 처음으로 게임 무관 수렴 결과를 보여준다.
• 계산 실험 결과, 제안된 방법은 초기 상태 분포의 변화에 대해 강건한 것으로 나타났다. 반면, ρ에 의존하는 투영 기반 기울기 상승 방법은 그렇지 않다.
• 다양한 초기 상태 분포에서 기준선 투영 기반 확률적 기울기 상승 방법보다 수렴 속도와 안정성 측면에서 뛰어난 성능을 보였다.
• 이론적 및 경험적 결과는 알고리즘이 거의 퇴화된 초기 상태 분포 조건에서도 성능을 유지함을 확인한다.