[논문 리뷰] Approximate Nash Equilibria in Partially Observed Stochastic Games with Mean-Field Interactions

Naci Saldı, Tamer Başar외 1명|arXiv (Cornell University)|2017. 05. 04.

Economic theories and models인용 수 4

한 줄 요약

이 논문은 무한 시간 할인 비용 기준 하에, 이산 시간 부분 관측 확률적 게임에서 평균장 상호작용이 있는 나시 균형의 존재성을 확립한다. 부분 관측 문제를 믿음 공간에서 완전 관측 문제로 변환하고 동적 프로그래밍을 적용하여, 에이전트 수가 충분히 많을 경우 평균장 균형 정책이 근사 나시 균형을 이룬다는 것을 증명한다. 이는 최소한의 기술적 조건 하에서 성립한다.

ABSTRACT

Establishing the existence of Nash equilibria for partially observed stochastic dynamic games is known to be quite challenging, with the difficulties stemming from the noisy nature of the measurements available to individual players (agents) and the decentralized nature of this information. When the number of players is sufficiently large and the interactions among agents is of the mean-field type, one way to overcome this challenge is to investigate the infinite-population limit of the problem, which leads to a mean-field game. In this paper, we consider discrete-time partially observed mean-field games with infinite-horizon discounted cost criteria. Using the technique of converting the original partially observed stochastic control problem to a fully observed one on the belief space and the dynamic programming principle, we establish the existence of Nash equilibria for these game models under very mild technical conditions. Then, we show that the mean-field equilibrium policy, when adopted by each agent, forms an approximate Nash equilibrium for games with sufficiently many agents.

연구 동기 및 목표

• 에이전트가 분산된 노이즈 있는 관측을 가지는 부분 관측 확률적 게임에서 나시 균형을 확립하는 데 도전하는 것.
• 연속 시간 분석과 대비하여 이산 시간 모델에 부분 관측을 통합한 평균장 게임 이론을 확장하는 것.
• 믿음 공간 재구성과 동적 프로그래밍을 통해 매우 미약한 기술적 조건 하에서도 나시 균형의 존재성을 증명하는 것.
• 에이전트 수가 많을 경우 평균장 균형 정책이 유한 에이전트 게임에서 근사 나시 균형을 형성하는 것을 보여주는 것.
• 부정확한 정보를 가진 분산된 의사결정 시스템에 평균장 게임 기법을 적용하기 위한 엄밀한 기반을 마련하는 것.

제안 방법

• 각 에이전트의 상태 분포에 대한 믿음 공간에서 작업하여 원래의 부분 관측 확률적 제어 문제를 완전 관측 문제로 변환하는 것.
• 평균장 균형 정책의 최적성 조건을 유도하기 위해 동적 프로그래밍 원리를 적용하는 것.
• 에이전트의 정책과 평균장 분포 흐름 간의 일致성을 보장하기 위해 나시 확실성 등가(NCE) 원리를 사용하는 것.
• 전이 커널의 등연속성과 유계성 조건을 이용하여 경험 분포의 약한 수렴을 확립하는 것.
• 전이 커널과 보상 함수의 균일 유계성 및 등연속성을 활용하여 시간 단계 간 분포 수렴을 증명하는 것.
• 시간 단계에 대한 귀납법을 사용하여, 유한 에이전트 시스템과 평균장 극한 사이의 상태 분포 법칙 수렴을 보여주는 것.

실험 결과

연구 질문

• RQ1 무한 시간 할인 비용 기준 하에, 이산 시간 부분 관측 평균장 확률적 게임에서 나시 균형이 존재하는 조건은 무엇인가?
• RQ2 에이전트의 정보가 부분 관측임을 어떻게 다루어, 대규모 인구의 확률적 게임에서 균형 분석을 가능하게 할 수 있는가?
• RQ3 에이전트 수가 많은 유한 에이전트 게임에서 평균장 균형 정책이 근사 나시 균형을 얼마나 잘 형성하는가?
• RQ4 믿음 공간 변환과 동적 프로그래밍 접근법을 통해 최소한의 기술적 가정 하에서도 균형 존재성을 증명할 수 있는가?
• RQ5 경험 분포가 평균장 분포로 수렴하는 것은 근사 균형 성질을 검증하는 데 어떤 역할을 하는가?

주요 결과

• 논문은 전이 커널과 보상 함수의 유계성 및 연속성 조건을 포함한 매우 미약한 기술적 조건 하에서도, 이산 시간 부분 관측 평균장 게임에서 나시 균형의 존재성을 확립한다.
• 믿음 공간 변환과 동적 프로그래밍을 통해 유도된 평균장 균형 정책은 에이전트 수가 충분히 많을 경우 유한 에이전트 게임에서 근사 나시 균형을 형성한다.
• 등연속성과 약한 수렴 추론을 활용하여 에이전트 상태의 경험 분포가 평균장 분포로 수렴함을 증명한다.
• 증명은 시간 단계에 대한 귀납법에 기반하여, 유한 에이전트 시스템에서 첫 번째 에이전트의 상태 분포가 평균장 극한의 상태 분포로 수렴함을 보여준다.
• 믿음 공간으로의 변환은 부분 관측 문제에 표준 동적 프로그래밍 기법을 적용할 수 있도록 한다.
• 결과는 일반적인 폴리쉬 상태 공간에 대해 성립하며, 컴acts성이나 리프시츠 연속성과 같은 강력한 가정이 필요 없고, 전이 및 보상 함수에 대한 최소한의 조건 이외에는 요구하지 않는다.