[논문 리뷰] Mean Field Asymptotics of Markov Decision Evolutionary Games and Teams

Hamidou Tembiné, J.-Y. Le Boudec외 2명|arXiv (Cornell University)|2011. 09. 13.

Stochastic processes and statistical mechanics참고 문헌 6인용 수 5

한 줄 요약

이 논문은 대규모 인구의 마르코프 결정 생태 게임과 팀 게임에 대한 평균장 점근적 프레임워크를 제안하며, 플레이어 수 N→∞일 때 시스템이 비결정론적 점프 과정으로 약수렴함을 보여준다. 이 과정은 비선형 상미분방정식(OED) 시스템에 의해 지배된다. 주요 기여는 유한한 N에 대한 미시적 게임과 매크로스코픽 평균장 확률적 게임 간의 등가성으로, 이는 ODE 기반 근사에 기반한 근사 최적 전략과 균형 분석을 가능하게 한다.

ABSTRACT

We introduce Mean Field Markov games with $N$ players, in which each individual in a large population interacts with other randomly selected players. The states and actions of each player in an interaction together determine the instantaneous payoff for all involved players. They also determine the transition probabilities to move to the next state. Each individual wishes to maximize the total expected discounted payoff over an infinite horizon. We provide a rigorous derivation of the asymptotic behavior of this system as the size of the population grows to infinity. Under indistinguishability per type assumption, we show that under any Markov strategy, the random process consisting of one specific player and the remaining population converges weakly to a jump process driven by the solution of a system of differential equations. We characterize the solutions to the team and to the game problems at the limit of infinite population and use these to construct near optimal strategies for the case of a finite, but large, number of players. We show that the large population asymptotic of the microscopic model is equivalent to a (macroscopic) mean field stochastic game in which a local interaction is described by a single player against a population profile (the mean field limit). We illustrate our model to derive the equations for a dynamic evolutionary Hawk and Dove game with energy level.

연구 동기 및 목표

• 각 플레이어가 무작위로 선택된 다른 플레이어들과 상호작용하는 대규모 인구의 마르코프 결정 생태 게임의 점근적 행동을 분석하는 것.
• N→∞일 때 엄밀한 극한을 도출하여, 개별 플레이어 및 인구 과정이 비결정론적 ODE 기반 점프 과정으로 약수렴함을 보이는 것.
• 유한한 N에 대한 미시적 게임과 매크로스코픽 평균장 확률적 게임 간의 등가성을 수립하여, 균형과 전략 분석을 단순화하는 것.
• 한정된 그러나 큰 N에 대해 극한 ODE 시스템을 사용하여 근사 최적 전략을 구성하는 것.
• 동적 생태 허클베이드 게임에 이 프레임워크를 적용하여 에너지 상태를 고려한 평균장 극한에 대한 명시적 방정식 유도

제안 방법

• 시간 t∈{0,1/N,2/N,…}에서 이동하는 N명의 플레이어로 구성된 시스템을 모델링하며, 각 플레이어는 유형과 내부 상태를 가진다. 상호작용은 제어된 마르코프 체인에 의해 결정된다.
• 플레이어 상태의 경험적 측도로 인구 프로파일 M^N(t)을 정의하고, 미약한 가정 하에 M^N(t)이 비결정론적 측도 m(t)로 약수렴함을 보인다. 이 m(t)는 비선형 ODE를 만족한다.
• 고정된 전략 u 하에서 평균장 진동을 기술하기 위해 ODE 시스템 f(u,m)를 사용하며, 이는 N명의 플레이어 게임을 단일 플레이어의 의사결정 문제로 단순화한다.
• 비원자적 마르코프 결정 게임 이론과 무관한 균형 이론을 적용하여, 극한에서 정적 균형의 존재를 도출한다.
• 유한한 N의 보상 R^N이 한계 보상 R로 균일 수렴함을 이용하고, 카쿠타니의 고정점 정리를 적용하여 점근적 영역에서 균형의 존재를 증명한다.
• 지배 수렴과 시간 스케일링의 고려(λ^N(t)→t)를 통해, 극한에서 할인 보상 적분의 수렴성을 증명한다.

실험 결과

연구 질문

• RQ1 N→∞일 때 대규모 인구의 마르코프 결정 생태 게임의 행동은 어떻게 수렴하는가?
• RQ2 평균장 영역에서 한 명의 플레이어와 나머지 인구 간의 상호작용을 기술하는 극한 시스템은 무엇인가?
• RQ3 유한한 N 게임이 비결정론적 평균장 ODE 시스템으로 수렴하는 조건은 무엇인가?
• RQ4 유한하지만 큰 N에 대해 평균장 근사법을 사용하여 균형과 근사 최적 전략을 어떻게 구성할 수 있는가?
• RQ5 극한에서 미시적 게임과 매크로스코픽 평균장 확률적 게임 간의 관계는 무엇인가?

주요 결과

• 유형별로 구분되지 않는 조건과 미약한 가정 하에, 한 명의 플레이어와 나머지 인구의 공동 과정이 비선형 ODE 시스템에 의해 지배되는 점프 과정으로 약수렴한다.
• 평균장 극한은 한 명의 플레이어가 ODE로 진동하는 인구 프로파일과 대응하는 매크로스코픽 마르코프 결정 생태 게임과 등가이다.
• 유한한 N 게임에서 할인 보상은 N→∞일 때 균일하게 한계 보상 R(u,u)로 수렴하므로 점근적 균형 분석이 가능하다.
• 모든 β>0에 대해, 유한한 N 게임은 적어도 하나의 0-최적 정적 전략을 갖으며, 대칭 보상 조건 하에 대칭 균형의 존재가 보장된다.
• ϵ_N→0인 ϵ_N-균형의 수열의 임의의 극한점은 평균장 극한에서 0-균형이 되며, 이는 근사 균형의 수렴성을 보장한다.
• 이 프레임워크는 에너지 상태를 고려한 동적 생태 허클베이드 게임을 성공적으로 모델링하였으며, 평균장 역학에 대한 명시적 ODE를 도출하였다.