[论文解读] Exploration noise for learning linear-quadratic mean field games

François Delarue, Athanasios Vasileiadis|arXiv (Cornell University)|Jul 2, 2021

Stochastic processes and financial applications参考文献 54被引用 5

一句话总结

该论文表明，在线性-二次均场博弈（MFGs）中，常见的噪声可作为探索机制，稳定并加速虚构博弈学习算法的收敛。通过引入一种带有几何加权方案（由参数 $\pi$ 控制）的倾斜虚构博弈变体，该方法即使在非单调、非势能设定下，也能确保收敛至全局均衡，数值结果表明在最优噪声条件下，仅需五次迭代即可快速选择正确均衡。

ABSTRACT

The goal of this paper is to demonstrate that common noise may serve as an exploration noise for learning the solution of a mean field game. This concept is here exemplified through a toy linear-quadratic model, for which a suitable form of common noise has already been proven to restore existence and uniqueness. We here go one step further and prove that the same form of common noise may force the convergence of the learning algorithm called `fictitious play', and this without any further potential or monotone structure. Several numerical examples are provided in order to support our theoretical analysis.

研究动机与目标

• 探究在标准学习方法失效的非单调或非势能设定下，线性-二次MFG中的常见噪声是否可作为有效的探索机制。
• 开发并分析一种改进的学习算法——“倾斜虚构博弈”——利用常见噪声改善收敛特性。
• 通过数值实验表明，倾斜虚构博弈可在具有非凸势能的一维线性-二次MFG中，成功选择全局极小值而非局部均衡。
• 通过展示常见噪声可增强学习稳定性和探索能力，弥合理论MFG分析与实际强化学习之间的鸿沟。

提出的方法

• 提出一种‘倾斜虚构博弈’算法，通过引入由时变漂移 $\varpi \mathbf{h}^n$ 驱动的Girsanov型测度变换，对标准虚构博弈进行修改。
• 在学习更新中采用几何加权方案，其中 $\varpi \in (1, \sqrt{2}]$，以增强探索能力并加速收敛至全局均衡。
• 利用Girsanov变换对概率测度进行倾斜，有效提升学习过程对罕见但具有信息量轨迹的敏感性。
• 采用蒙特卡洛模拟，路径数 $M = 2 \times 10^4$，并使用六次Hermite多项式回归估计倾斜测度下的条件期望。
• 实施已证明可恢复线性-二次MFG唯一性的共同噪声结构，利用其对解空间的平滑效应。
• 通过将共同噪声用作内在探索噪声，避免外部扰动，将算法适配至统计学习框架。

(a) Evolution of ${\mathscr{J}}$ with $\kappa$ .

实验结果

研究问题

• RQ1 在线性-二次MFG中，共同噪声是否可作为学习算法的有效探索机制？
• RQ2 在标准虚构博弈可能失效的非单调或非势能MFG中，倾斜虚构博弈算法是否能收敛至全局均衡？
• RQ3 几何加权参数 $\varpi$ 的选择如何影响收敛速度和正确均衡的选择精度？
• RQ4 基于Girsanov的测度倾斜是否可通过增强对罕见但具有信息量状态的采样，改善学习过程？
• RQ5 噪声强度 $\varepsilon$ 对学习算法的方差和稳定性有何影响？

主要发现

• 当 $\varpi = 4$ 时，倾斜虚构博弈在仅五次迭代内即收敛至全局均衡，尽管 $\varpi$ 超出了理论范围 $ (1, \sqrt{2}] $。
• 当 $\varpi = 1.5$ 时，收敛耗时十次迭代，显示出速度与稳定性的明确权衡。
• 当 $\varpi = 1$ 时，收敛需超过十五次迭代，且存在残余方差，表明对全局极小值的选择不够稳健。
• 即使初始化于局部均衡，该算法仍成功选择全局极小值 $x \approx -0.5$ 而非局部极小值 $x = 0$。
• 数值结果表明，将 $\varepsilon$ 降低至 0.1 会恶化性能，因Girsanov变换中方差增加，表明噪声强度与稳定性之间存在权衡。
• 将共同噪声用作探索噪声，使算法能够逃离局部极小值并收敛至全局解，验证了其在提升学习鲁棒性方面的作用。

(b) Evolution of $\frac{\mathrm{d}}{\mathrm{d}\beta}{\mathscr{J}}$ with $\kappa$ .