[论文解读] Fitted Q-Learning in Mean-field Games.

Berkay Anahtarcı, Can Deha Karıksız+1 more|arXiv (Cornell University)|Dec 31, 2019

Stochastic processes and financial applications被引用 9

一句话总结

本文提出了一种拟合Q-learning算法，用于在基于模型和无模型设置下，利用巴拿赫不动点定理计算平均场博弈中的近似纳什均衡。该方法建立了概率收敛性，并从学习到的平均场策略构造了有限参与者博弈的均衡。

ABSTRACT

In the literature, existence of equilibria for discrete-time mean field games has been in general established via Kakutani's Fixed Point Theorem. However, this fixed point theorem does not entail any iterative scheme for computing equilibria. In this paper, we first propose a Q-iteration algorithm to compute equilibria for mean-field games with known model using Banach Fixed Point Theorem. Then, we generalize this algorithm to model-free setting using fitted Q-iteration algorithm and establish the probabilistic convergence of the proposed iteration. Then, using the output of this learning algorithm, we construct an approximate Nash equilibrium for finite-agent stochastic game with mean-field interaction between agents.

研究动机与目标

• 开发一种用于计算离散时间平均场博弈中均衡的迭代算法，以替代现有方法中依赖于非构造性不动点定理的不足。
• 通过使用函数逼近的拟合Q-迭代，将Q-迭代从基于模型的设置扩展到无模型设置，以增强实际适用性。
• 在无模型设置下，建立所提出学习算法的概率收敛性。
• 展示如何利用学习到的平均场策略来构造具有平均场交互作用的有限参与者随机博弈中的近似纳什均衡。

提出的方法

• 提出一种基于巴拿赫不动点定理的Q-迭代算法，用于基于模型的平均场博弈均衡计算。
• 通过使用函数逼近的拟合Q-迭代，将Q-迭代推广至无模型设置。
• 采用概率收敛性分析，证明在较弱正则性条件下，拟合Q-迭代几乎必然收敛。
• 利用学习到的平均场策略推导出一个策略组合，使其在有限参与者博弈中构成近似纳什均衡。
• 在无模型设置中应用函数逼近，以处理高维状态空间。
• 通过在值函数空间中利用压缩映射原理，建立理论收敛性。

实验结果

研究问题

• RQ1 Q-迭代能否通过巴拿赫不动点定理被适配以计算平均场博弈中的均衡？
• RQ2 在无模型设置下，拟合Q-迭代是否在平均场博弈中收敛？
• RQ3 如何利用平均场Q-学习算法的输出来构造有限参与者博弈中的纳什均衡？
• RQ4 对于平均场设置下的拟合Q-迭代，可以提供哪些理论收敛保证？
• RQ5 在有限参与者博弈中，何种条件可确保所构造策略形成有效的近似纳什均衡？

主要发现

• 在满足巴拿赫不动点定理条件的前提下，所提出的Q-迭代算法可收敛至平均场博弈的均衡策略。
• 在无模型设置下，拟合Q-迭代实现了概率收敛，确保了值函数估计的几乎必然收敛。
• 学习到的平均场策略可生成一个在有限参与者随机博弈中构成近似纳什均衡的策略组合。
• 该方法无需显式掌握转移模型即可实现均衡计算，从而增强了实际适用性。
• 理论框架支持在高维设置中使用函数逼近，同时保持收敛性保证。
• 该方法通过提供一种构造性、基于学习的均衡计算方法，将平均场博弈理论与强化学习相连接。