[논문 리뷰] Gradient Play in Multi-Agent Markov Stochastic Games: Stationary Points and Convergence

Runyu Zhang, Zhaolin Ren외 1명|arXiv (Cornell University)|2021. 06. 01.

Reinforcement Learning in Robotics참고 문헌 39인용 수 8

한 줄 요약

이 논문은 다중 에이전트 표본 마르코프 스토케스틱 게임에서의 그래디언트 플레이를 분석하여, 내쉬 균형(Nash equilibria, NEs)과 일阶 정류 정책(first-order stationary policies)이 동치임을 보여준다. 논문은 마르코프 퍼텐셜 게임에서 $\backslash$epsilon$-NE로의 비점근적 전역 수렴 속도를 확립하며, 반복 복잡도가 에이전트 수에 대해 선형적으로 증가함을 보이고, 내쉬 균형의 국소 안정성과 기하학적 성질을 규명한다.

ABSTRACT

We study the performance of the gradient play algorithm for multi-agent tabular Markov decision processes (MDPs), which are also known as stochastic games (SGs), where each agent tries to maximize its own total discounted reward by making decisions independently based on current state information which is shared between agents. Policies are directly parameterized by the probability of choosing a certain action at a given state. We show that Nash equilibria (NEs) and first order stationary policies are equivalent in this setting, and give a non-asymptotic global convergence rate analysis to an $\epsilon$-NE for a subclass of multi-agent MDPs called Markov potential games, which includes the cooperative setting with identical rewards among agents as an important special case. Our result shows that the number of iterations to reach an $\epsilon$-NE scales linearly, instead of exponentially, with the number of agents. Local geometry and local stability are also considered. For Markov potential games, we prove that strict NEs are local maxima of the total potential function and fully-mixed NEs are saddle points. We also give a local convergence rate around strict NEs for more general settings.

연구 동기 및 목표

• 다중 에이전트 표본 마르코프 결정 과정(MDPs), 즉 스토케스틱 게임(SGs)에서 그래디언트 플레이의 수렴 성질을 분석하는 것.
• 이 설정에서 내쉬 균형(NEs)과 일阶 정류 정책 간의 동치성을 확립하는 것.
• 다중 에이전트 MDP의 하위집합인 마르코프 퍼텐셜 게임에서 $\backslash$epsilon$-NE로의 비점근적 전역 수렴 속도를 제공하는 것.
• 마르코프 퍼텐셜 게임에서 내쉬 균형의 국소 기하학적 성질과 안정성을 규명하고, 총 퍼텐셜 함수와의 관계를 분석하는 것.
• 일반적인 설정으로의 수렴 분석을 확장하기 위해 엄격한 내쉬 균형 주변의 국소 수렴 속도를 확립하는 것.

제안 방법

• 각 상태에서 행동 확률을 직접 정책으로 매개변수화하여, 각 에이전트별로 그래디언트 기반 최적화를 가능하게 한다.
• 각 에이전트가 자신의 기대 할인 보상의 그래디언트를 사용하여 정책을 갱신하는 그래디언트 플레이를 적용한다.
• 마르코프 퍼텐셜 게임의 구조를 이용하여 수렴을 분석하며, 이 게임의 역동성은 전역 퍼텐셜 함수에서 유도된다.
• 엄격한 내쉬 균형이 총 퍼텐셜 함수의 국소 최대값과 대응됨을 증명하고, 완전 혼합 내쉬 균형이 이 함수의 안장점임을 규명한다.
• $\backslash$epsilon$-NE로의 비점근적 전역 수렴 속도를 유도하며, 에이전트 수에 대해 선형 의존성을 보인다.
• 일반적인 설정에서 국소 기하학적 성질과 안정성 분석을 활용하여 엄격한 내쉬 균형 주변의 국소 수렴 속도를 확립한다.

실험 결과

연구 질문

• RQ1 다중 에이전트 표본 MDP에서 내쉬 균형과 일阶 정류 정책 간에 동치성이 존재하는가?
• RQ2 마르코프 퍼텐셜 게임에서 그래디언트 플레이의 전역 수렴 속도는 $\backslash$epsilon$-내쉬 균형에 대해 어떻게 되는가?
• RQ3 마르코프 퍼텐셜 게임에서 내쉬 균형의 국소 기하학적 성질은 총 퍼텐셜 함수와 어떻게 관련이 있는가?
• RQ4 엄격한 내쉬 균형은 퍼텐셜 함수의 국소 최대값이며, 완전 혼합 내쉬 균형은 안장점인가?
• RQ5 일반적인 다중 에이전트 MDP에서 엄격한 내쉬 균형 주변에서 달성할 수 있는 국소 수렴 속도는 무엇인가?

주요 결과

• 다중 에이전트 표본 MDP에서 내쉬 균형과 일阶 정류 정책은 동치이다.
• 마르코프 퍼텐셜 게임에서 $\backslash$epsilon$-내쉬 균형에 도달하기까지의 반복 수는 에이전트 수에 대해 선형적으로 증가한다.
• 엄격한 내쉬 균형은 마르코프 퍼텐셜 게임에서 총 퍼텐셜 함수의 국소 최대값이다.
• 완전 혼합 내쉬 균형은 마르코프 퍼텐셜 게임에서 총 퍼텐셜 함수의 안장점이다.
• 더 일반적인 다중 에이전트 MDP 설정에서 엄격한 내쉬 균형 주변에 대해 국소 수렴 속도가 확립되었다.
• 분석을 통해 마르코프 퍼텐셜 게임에서 $\backslash$epsilon$-NE로의 비점근적 전역 수렴 보장을 제공한다.