[論文レビュー] Approximate Nash Equilibria in Partially Observed Stochastic Games with Mean-Field Interactions

Naci Saldı, Tamer Başar+1 more|arXiv (Cornell University)|May 4, 2017

Economic theories and models被引用数 4

ひとこと要約

本稿は、無限ホライズン割引コスト基準の下で、部分的に観測可能な時不変確率的ゲームに平均場相互作用を有する場合に、ナッシュ均衡が存在することを確立する。部分的観測問題を信念空間上で完全観測問題に変換し、動的計画法を適用することで、十分に多くの参加者が存在する場合に平均場均衡方策が近似的ナッシュ均衡を形成することを証明する。最小限の技術的条件のもとで成立する。

ABSTRACT

Establishing the existence of Nash equilibria for partially observed stochastic dynamic games is known to be quite challenging, with the difficulties stemming from the noisy nature of the measurements available to individual players (agents) and the decentralized nature of this information. When the number of players is sufficiently large and the interactions among agents is of the mean-field type, one way to overcome this challenge is to investigate the infinite-population limit of the problem, which leads to a mean-field game. In this paper, we consider discrete-time partially observed mean-field games with infinite-horizon discounted cost criteria. Using the technique of converting the original partially observed stochastic control problem to a fully observed one on the belief space and the dynamic programming principle, we establish the existence of Nash equilibria for these game models under very mild technical conditions. Then, we show that the mean-field equilibrium policy, when adopted by each agent, forms an approximate Nash equilibrium for games with sufficiently many agents.

研究の動機と目的

• 参加者が分散的かつノイズを含む観測を行う部分的観測確率的ゲームにおけるナッシュ均衡を確立する課題に対処すること。
• 連続時間解析とは対照的に、部分的観測を伴う離散時間モデルへの平均場ゲーム理論の拡張を図ること。
• 信念空間再定式化と動的計画法を用いて、極めて弱い技術的条件のもとでナッシュ均衡の存在を証明すること。
• 参加者数が非常に多い有限参加者ゲームにおいて、平均場均衡方策が近似的ナッシュ均衡を形成することを示すこと。
• 不完全情報を持つ分散意思決定システムへの平均場ゲーム手法の適用に、厳密な基礎を提供すること。

提案手法

• 各エージェントの状態分布の信念空間上で、元の部分的観測確率的制御問題を完全観測問題に変換すること。
• 平均場均衡方策の最適性条件を導出するために動的計画法の原則を適用すること。
• エージェントの方策と平均場分布の流れとの一貫性を保証するためにナッシュ確実性同等（NCE）の原則を用いること。
• 遷移核の等連続性と有界性を用いて、経験的分布の平均場分布への弱収束を確立すること。
• 遷移核とコスト関数の一様有界性および等連続性を活用して、時間ステップ間での分布収束を証明すること。
• 時間ステップにおける帰納法を用いて、有限参加者系と平均場極限との間の状態分布法則の収束を示すこと。

実験結果

リサーチクエスチョン

• RQ1 無限ホライズン割引コスト基準の下で、離散時間部分的観測平均場確率的ゲームにナッシュ均衡が存在する条件は何か？
• RQ2 参加者の情報が部分的であるという性質をどのように取り扱うことで、大規模確率的ゲームにおける均衡解析を可能にするか？
• RQ3 参加者数が多い有限参加者ゲームにおいて、平均場均衡方策がどの程度近似的ナッシュ均衡を形成するか？
• RQ4 信念空間変換と動的計画法のアプローチを用いて、最小限の技術的仮定のもとで均衡の存在を確立できるか？
• RQ5 経験的分布が平均場分布に収束することは、近似的均衡性の妥当性を検証する上で果たす役割は何か？

主な発見

• 本稿は、遷移核とコスト関数の有界性および連続性といった極めて弱い技術的条件のもとで、離散時間部分的観測平均場ゲームにおけるナッシュ均衡の存在を確立する。
• 信念空間変換と動的計画法を用いて導出された平均場均衡方策は、十分に多くの参加者が存在するゲームにおいて、近似的ナッシュ均衡を形成する。
• 等連続性と弱収束の議論を用いて、参加者の状態の経験的分布が平均場分布に収束することを証明する。
• 証明は時間ステップにおける帰納法に依拠しており、有限参加者系における最初のエージェントの状態分布が平均場極限におけるものに収束することを示している。
• 信念空間への変換により、部分的観測問題に対しても標準的な動的計画法の手法を適用可能にする。
• 結果は一般のポーランド状態空間に対して成立し、コンパクト性やリプシッツ連続性といった強い仮定を除き、遷移核とコスト関数に関する最小限の条件に依存する。