[论文解读] Approximately Solving Mean Field Games via Entropy-Regularized Deep Reinforcement Learning

Kai Cui, Heinz Koeppl|arXiv (Cornell University)|Feb 2, 2021

Advanced Thermodynamics and Statistical Mechanics被引用 12

一句话总结

本文提出一种基于熵正则化的深度强化学习方法，用于求解因非压缩算子导致标准固定点迭代失效的离散时间有限时域平均场博弈（MFG）。通过引入玻尔兹曼策略与温度控制正则化，该方法可保证收敛至近似纳什均衡，其在可计算与高维问题中的可利用性均优于现有方法（如虚拟博弈）。

ABSTRACT

The recent mean field game (MFG) formalism facilitates otherwise intractable computation of approximate Nash equilibria in many-agent settings. In this paper, we consider discrete-time finite MFGs subject to finite-horizon objectives. We show that all discrete-time finite MFGs with non-constant fixed point operators fail to be contractive as typically assumed in existing MFG literature, barring convergence via fixed point iteration. Instead, we incorporate entropy-regularization and Boltzmann policies into the fixed point iteration. As a result, we obtain provable convergence to approximate fixed points where existing methods fail, and reach the original goal of approximate Nash equilibria. All proposed methods are evaluated with respect to their exploitability, on both instructive examples with tractable exact solutions and high-dimensional problems where exact methods become intractable. In high-dimensional scenarios, we apply established deep reinforcement learning methods and empirically combine fictitious play with our approximations.

研究动机与目标

• 解决在有限时域离散时间MFG中，由于固定点算子非压缩而导致标准固定点迭代失效的问题。
• 在标准压缩性假设不成立时，开发一种可证明收敛的近似平均场均衡方法。
• 通过深度强化学习实现高维MFG中近似纳什均衡的实际计算。
• 通过迭代策略优化，降低可利用性，从而在性能上超越虚拟博弈等现有方法。
• 建立熵正则化、玻尔兹曼策略与一般MFG设定下收敛性之间的联系。

提出的方法

• 通过软值函数形式将熵正则化引入MFG的固定点迭代，即使在算子非压缩时也能保证收敛。
• 利用从软Q值函数导出的玻尔兹曼策略参数化随机策略，实现可微且稳定的优化。
• 采用拉格朗日松弛框架与对偶变量，以强制满足边际概率与策略约束，从而获得可处理的优化问题。
• 推导出一种递归软Q值更新，该更新在熵正则化下推广了贝尔曼方程，支持迭代策略改进。
• 结合基于粒子的模拟与深度强化学习，将方法扩展至高维状态与动作空间。
• 将虚拟博弈与所提出的熵正则化近似方法结合，通过迭代降低可利用性，提升均衡质量。

实验结果

研究问题

• RQ1 熵正则化是否能稳定有限时域离散时间MFG中非压缩算子的固定点迭代？
• RQ2 在一般MFG中，使用带温度控制的玻尔兹曼策略是否能实现向近似不动点的可证明收敛？
• RQ3 在高维MFG中，所提方法的可利用性与虚拟博弈及其他最先进方法相比如何？
• RQ4 通过调节温度参数，是否可在保持计算可行性的同时实现任意低的可利用性？
• RQ5 在非唯一或非压缩的MFG设定下，熵正则化对平均场均衡的收敛性与质量有何影响？

主要发现

• 所提方法即使在固定点算子非压缩时，也能实现向近似不动点的可证明收敛，而标准固定点迭代在此类情况下会失效。
• 采用足够高的温度进行熵正则化可确保收敛，且通过降低温度可使解无限接近真实均衡。
• 在低维与高维MFG中，该方法显著降低了可利用性，优于虚拟博弈及其他基线方法。
• 在高维问题中，深度强化学习与基于粒子的模拟相结合，有效实现了平均场均衡的近似。
• 所推导的带玻尔兹曼策略参数化的软Q值递归，支持稳定且可微的策略优化，从而实现可利用性的迭代下降。
• 理论分析证实，通过该方法导出的平均场均衡构成对应有限玩家博弈中的近似纳什均衡。