[论文解读] A Class of Mean-field LQG Games with Partial Information

Jianhui Huang, Shujun Wang|arXiv (Cornell University)|Mar 24, 2014

Economic theories and models参考文献 21被引用 5

一句话总结

本文提出了一类新型的大群体系统均场LQG非完全信息博弈，其中参与者面临部分滤波或状态观测噪声。通过基于Riccati方程的一致性条件推导出非合作策略，并证明了ε-纳什均衡性质，由于未观测到的共同噪声，极限状态平均值变为随机变量。

ABSTRACT

The large-population system consists of considerable small agents whose individual behavior and mass effect are interrelated via their state-average. The mean-field game provides an efficient way to get the decentralized strategies of large-population system when studying its dynamic optimizations. Unlike other large-population literature, this current paper possesses the following distinctive features. First, our setting includes the partial information structure of large-population system which is practical from real application standpoint. Specially, two cases of partial information structure are considered here: the partial filtration case (see Section 2, 3) where the available information to agents is the filtration generated by an observable component of underlying Brownian motion; the noisy observation case (Section 4) where the individual agent can access an additive white-noise observation on its own state. Also, it is new in filtering modeling that our sensor function may depend on the state-average. Second, in both cases, the limiting state-averages become random and the filtering equations to individual state should be formalized to get the decentralized strategies. Moreover, it is also new that the limit average of state filters should be analyzed here. This makes our analysis very different to the full information arguments of large-population system. Third, the consistency conditions are equivalent to the wellposedness of some Riccati equations, and do not involve the fixed-point analysis as in other mean-field games. The $ε$-Nash equilibrium properties are also presented.

研究动机与目标

• 解决大群体随机系统中参与者对状态和总体效应仅有有限（部分）信息的问题。
• 建立包含未观测到的共同噪声和状态观测噪声的现实场景模型，扩展经典均场博弈理论。
• 在部分信息下推导近似最优的非合作策略，并确保ε-纳什均衡性质。
• 当由于未观测到的布朗运动分量导致状态平均值为随机变量时，形式化个体状态的滤波方程。
• 通过适定的Riccati方程而非不动点论证建立一致性条件，简化分析过程。

提出的方法

• 建模具有线性动态和二次型代价的大群体系统，其中参与者通过状态平均值相互作用，并面临部分信息。
• 考虑两种部分信息结构：(1) 参与者仅能观测到基础布朗运动的一个分量（部分滤波）；(2) 参与者接收到自身状态的噪声观测。
• 利用卡尔曼型动态推导个体状态的滤波方程，适用于大群体极限和未观测到的共同噪声。
• 引入辅助的均场随机微分方程（MFSDEs）以分析状态滤波的极限行为。
• 通过求解Riccati方程建立一致性条件——在噪声观测情况下为两个耦合的Riccati方程——避免使用不动点分析。
• 利用Gronwall不等式和控制过程L2有界性论证，证明状态和控制过程以O(1/√N)的速率收敛到其均场极限。

实验结果

研究问题

• RQ1 当参与者对状态和总体效应仅有部分信息时，如何在大群体LQG博弈中推导非合作策略？
• RQ2 未观测到的共同噪声（如未观测到的布朗运动）对状态平均值和滤波动态的极限行为有何影响？
• RQ3 在部分信息设置下，个体状态的滤波方程与完全信息情形有何不同？
• RQ4 均场LQG博弈中的一致性条件能否通过Riccati方程表征而无需使用不动点迭代？
• RQ5 在部分信息下，个体状态和控制过程向其均场极限的收敛速率是多少？

主要发现

• 由于未观测到的共同噪声，极限状态平均过程变为随机变量，这与完全信息设置下的确定性极限不同。
• 在大群体极限下，对个体状态的滤波方程被形式化，将随机状态平均值作为不确定性来源纳入其中。
• 一致性条件等价于Riccati方程的适定性——具体而言，在部分滤波情况下为一个Riccati方程，在噪声观测情况下为两个耦合的Riccati方程。
• 非合作策略实现了ε-纳什均衡，偏差成本被O(1/√N)所界定，表明其渐近最优性。
• 状态和控制过程向其均场极限的收敛速率为O(1/√N)，通过Gronwall不等式和控制过程的L2有界性得以建立。
• 分析通过依赖Riccati方程的可解性，避免了不动点论证，与标准均场博弈方法相比，简化了对一致性条件的推导。