[논문 리뷰] Stochastic Potential Games

David Mguni|arXiv (Cornell University)|2020. 05. 27.

Game Theory and Applications참고 문헌 38인용 수 4

한 줄 요약

이 논문은 마르코프 완전 내쉬 균형(MP-NE)을 다항 시간 내에 계산할 수 있는 N명의 플레이어가 참여하는 비제로섬 비상태적 게임의 다루기 쉬운 하위클래스인 확률적 포텐셜 게임(SP-G)을 소개한다. 이중 마르코프 결정 과정을 활용하여, 일반적인 상태적 게임의 PSPACE-난이도에 비해 두 명 이상의 플레이어에 대해서도 효율적인 균형 계산이 가능해진다.

ABSTRACT

Computing the Nash equilibrium (NE) for N-player non-zerosum stochastic games is a formidable challenge. Currently, algorithmic methods in stochastic game theory are unable to compute NE for stochastic games (SGs) for settings in all but extreme cases in which the players either play as a team or have diametrically opposed objectives in a two-player setting. This greatly impedes the application of the SG framework to numerous problems within economics and practical systems of interest. In this paper, we provide a method of computing Nash equilibria in nonzero-sum settings and for populations of players more than two. In particular, we identify a subset of SGs known as stochastic potential games (SPGs) for which the (Markov perfect) Nash equilibrium can be computed tractably and in polynomial time. Unlike SGs for which, in general, computing the NE is PSPACE-hard, we show that SGs with the potential property are P-Complete. We further demonstrate that for each SPG there is a dual Markov decision process whose solution coincides with the MP-NE of the SPG. We lastly provide algorithms that tractably compute the MP-NE for SGs with more than two players.

연구 동기 및 목표

• 일반적인 N명 플레이어 상태적 게임에서 내쉬 균형을 찾는 계산의 비가용성을 해결하기 위해, 이는 일반적으로 PSPACE-난이도임.
• 내쉬 균형을 효율적으로 계산할 수 있는 상태적 게임의 다루기 쉬운 하위클래스인 확률적 포텐셜 게임(SP-G)을 특정화하기 위해.
• SP-G가 이중 마르코프 결정 과정(dual MDP)을 갖는다는 것을 보여주며, 이의 해가 마르코프 완전 내쉬 균형(MP-NE)을 제공함을 입증하기 위해.
• 두 명 이상의 플레이어가 참여하는 상태적 게임에서 MP-NE를 계산하기 위한 확장 가능한 알고리즘을 제공하기 위해.

제안 방법

• 상태적 게임에서 포텐셜 성질을 식별하여, 게임의 수익 구조가 플레이어의 동기 요인을 종합하는 포텐셜 함수와 일치하도록 보장하기 위해.
• SP-G가 P-완전임을 증명하여, 일반적인 상태적 게임의 PSPACE-난이도와 대비해 다항 시간 내에 해결 가능하다는 것을 입증하기 위해.
• 최적 정책이 SP-G의 MP-NE와 정확히 일치하는 이중 마르코프 결정 과정(MDP)을 구축하기 위해.
• SP-G와 그 이중 MDP 간의 이중성(duality)을 활용하여 균형 계산 문제를 단일 에이전트 계획 문제로 변환하기 위해.
• 이중 MDP를 해결함으로써 MP-NE를 계산하는 확장 가능한 알고리즘을 설계하여, 두 명 이상의 플레이어가 참여하는 게임에 적용 가능하게 하기 위해.
• 해결 방법이 계산적으로 효율적이며 다항 시간 내에 실행되어 실용적 시스템에 적용 가능하도록 보장하기 위해.

실험 결과

연구 질문

• RQ1 N명 플레이어 비제로섬 상태적 게임에서 내쉬 균형을 두 명의 플레이어 제로섬 게임이나 팀 플레이의 특수 케이스를 넘어서 효율적으로 계산할 수 있는가?
• RQ2 내쉬 균형을 다항 시간 내에 계산할 수 있도록 하는 상태적 게임의 어떤 구조적 성질이 존재하는가?
• RQ3 마르코프 완전 내쉬 균형을 계산하는 데 사용할 수 있는 이중 마르코프 결정 과정이 존재하는가?
• RQ4 SP-G의 포텐셜 함수는 다중 플레이어 설정에서 균형의 존재성과 계산에 어떻게 관련되는가?

주요 결과

• 확률적 포텐셜 게임(SP-G)은 마르코프 완전 내쉬 균형(MP-NE)을 다항 시간 내에 계산할 수 있는 상태적 게임의 하위클래스이다.
• 일반적인 상태적 게임이 PSPACE-난이도인 것과 달리, SP-G는 P-완전이므로 계산 복잡도가 크게 감소함을 시사한다.
• 모든 SP-G에 대해, 원래 게임의 MP-NE를 제공하는 해를 갖는 이중 마르코프 결정 과정이 존재한다.
• 제안된 방법은 두 명 이상의 플레이어가 참여하는 상태적 게임에서 MP-NE를 계산할 수 있도록 하며, 이는 이전의 다루기 쉬운 방법의 범위를 초월한다.
• SP-G와 그 이중 MDP 간의 이중성 덕분에 균형 계산 문제가 단일 에이전트 최적화 문제로 축소된다.
• 논문에서 개발된 알고리즘은 복잡한 다중 에이전트 상태적 환경에서 균형을 효율적이고 확장 가능한 방식으로 계산하는 데 기여한다.