[論文レビュー] A Class of Mean-field LQG Games with Partial Information

Jianhui Huang, Shujun Wang|arXiv (Cornell University)|Mar 24, 2014

Economic theories and models参考文献 21被引用数 5

ひとこと要約

本稿は、大規模な集団システムにおける部分的情報を持つ代理が関与する、新しいクラスの平均場LQGゲームを提案する。代理は部分的フィルトレーションまたはノイズのある状態観測のいずれかに直面する。リッカティに基づく一致条件を用いて分散型戦略を導出し、ε-ナッシュ均衡の性質を証明する。制御された共通ノイズが存在するため、極限状態平均は確率的になる。

ABSTRACT

The large-population system consists of considerable small agents whose individual behavior and mass effect are interrelated via their state-average. The mean-field game provides an efficient way to get the decentralized strategies of large-population system when studying its dynamic optimizations. Unlike other large-population literature, this current paper possesses the following distinctive features. First, our setting includes the partial information structure of large-population system which is practical from real application standpoint. Specially, two cases of partial information structure are considered here: the partial filtration case (see Section 2, 3) where the available information to agents is the filtration generated by an observable component of underlying Brownian motion; the noisy observation case (Section 4) where the individual agent can access an additive white-noise observation on its own state. Also, it is new in filtering modeling that our sensor function may depend on the state-average. Second, in both cases, the limiting state-averages become random and the filtering equations to individual state should be formalized to get the decentralized strategies. Moreover, it is also new that the limit average of state filters should be analyzed here. This makes our analysis very different to the full information arguments of large-population system. Third, the consistency conditions are equivalent to the wellposedness of some Riccati equations, and do not involve the fixed-point analysis as in other mean-field games. The $ε$-Nash equilibrium properties are also presented.

研究の動機と目的

• 状態とマス効果について情報が制限された（部分的である）代理が関与する大規模確率的システムに対処すること。
• 観測不能な共通ノイズとノイズのある状態観測を含む現実的状況をモデル化し、古典的平均場ゲーム理論を拡張すること。
• 部分的情報下で近似的に最適な分散型戦略を導出し、ε-ナッシュ均衡の性質を保証すること。
• 観測不能なブラウン運動成分により、状態平均が確率的になる状況における個々の状態のフィルタリング方程式を形式化すること。
• 固定点解析を避けて、適切に定義されたリッカティ方程式による一貫性条件を確立することにより、解析を簡素化すること。

提案手法

• 線形動的システムと二次コスト関数を持つ大規模集団システムをモデル化し、代理が状態平均と相互作用する。状態とマス効果について部分的情報を持つ。
• 2つの部分的情報構造を検討する：(1) 代理が基礎となるブラウン運動の成分のみを観測する（部分的フィルトレーション）、(2) 代理が自らの状態のノイズのある観測値を得る。
• カルマン型ダイナミクスを用いて、大規模集団極限および観測不能な共通ノイズを考慮した状態のフィルタリング方程式を導出する。
• 状態フィルタの極限挙動を分析するために、補助的な平均場ストキャスティック微分方程式（MFSDE）を導入する。
• 固定点解析を避けて、リッカティ方程式の解法により一貫性条件を確立する。ノイズのある観測の場合、2つの結合されたリッカティ方程式が導かれる。
• グロワールの不等式および制御のL2有界性を用いて、状態および制御プロセスがその平均場極限にO(1/√N)のレートで収束することを証明する。

実験結果

リサーチクエスチョン

• RQ1 代理が状態およびマス効果について部分的情報を有する場合、大規模集団LQGゲームにおいて分散型戦略をどのように導出できるか？
• RQ2 観測不能な共通ノイズ（例：観測不能なブラウン運動）は、状態平均およびフィルタリングダイナミクスの極限挙動にどのような影響を与えるか？
• RQ3 部分的情報設定下での個々の状態のフィルタリング方程式は、完全情報設定とどのように異なるか？
• RQ4 平均場LQGゲームにおける一貫性条件は、固定点反復を用いずにリッカティ方程式によって特徴付けられるか？
• RQ5 部分的情報下で、個々の状態および制御がその平均場極限にどの程度のレートで収束するか？

主な発見

• 観測不能な共通ノイズの存在により、極限状態平均プロセスは確定的ではなく、確率的になる。これは完全情報設定下の確定的極限とは対照的である。
• 大規模集団極限において、個々の状態のフィルタリング方程式が形式化され、確率的状態平均が不確実性の源として組み込まれる。
• 一貫性条件は、リッカティ方程式の適切な定義可能性と同等である。具体的には、部分的フィルトレーションの場合に1つのリッカティ方程式、ノイズのある観測の場合に2つの結合リッカティ方程式が導かれる。
• 分散型戦略はε-ナッシュ均衡を達成し、逸脱コストはO(1/√N)で有界である。これは漸近的最適性を示している。
• 状態および制御プロセスが平均場極限に収束するレートはO(1/√N)であり、グロワールの不等式および制御のL2有界性を用いて確立された。
• 固定点解析を避けてリッカティ方程式の可解性に依存することで、標準的な平均場ゲーム手法と比較して、一貫性条件の導出が簡素化された。