[论文解读] Entropy Regularization for Mean Field Games with Learning

Xin Guo, Renyuan Xu+1 more|arXiv (Cornell University)|Sep 30, 2020

Reinforcement Learning in Robotics参考文献 28被引用 12

一句话总结

本文在具有学习能力的平均场博弈（MFGs）中提出熵正则化，以稳定并加速收敛至均衡，使智能体能够学习时变的探索策略。该文提出一种无模型的策略梯度算法，结合熵正则化，实现稳定、快速的收敛，并准确学习有限时域MFG中的最优探索调度。

ABSTRACT

Entropy regularization has been extensively adopted to improve the efficiency, the stability, and the convergence of algorithms in reinforcement learning. This paper analyzes both quantitatively and qualitatively the impact of entropy regularization for Mean Field Game (MFG) with learning in a finite time horizon. Our study provides a theoretical justification that entropy regularization yields time-dependent policies and, furthermore, helps stabilizing and accelerating convergence to the game equilibrium. In addition, this study leads to a policy-gradient algorithm for exploration in MFG. Under this algorithm, agents are able to learn the optimal exploration scheduling, with stable and fast convergence to the game equilibrium.

研究动机与目标

• 理论证明熵正则化在有限时域具有学习能力的平均场博弈中稳定并加速收敛的作用。
• 开发一种结合熵正则化的无模型策略梯度算法，用于大规模群体中的多智能体强化学习。
• 通过熵正则化使智能体能够学习时变的探索策略（即最优探索调度）。
• 提供算法在稳定性、收敛速度和学习平均场均衡准确性方面的理论与实证验证。
• 弥合熵正则化在多智能体强化学习中，特别是有限时域MFG中的理论理解空白。

提出的方法

• 在策略梯度更新中应用熵正则化，使用香农熵以促进探索并稳定学习。
• 采用零阶优化方法，在无需导数信息的情况下估计梯度，通过在策略参数上施加扰动实现。
• 算法在固定平均场信息下交替进行智能体策略更新与基于新策略的平均场更新，模拟虚构博弈过程。
• 在球面上使用高斯平滑计算有界且有偏的梯度估计，避免完整高斯平滑带来的问题。
• 探索方差（策略的标准差）被学习为时间相关的函数，代表最优探索调度。
• 该方法在无模型框架中实现，避免模型误设，并在不确定环境中增强鲁棒性。

实验结果

研究问题

• RQ1 熵正则化在有限时域设置下如何影响平均场博弈学习的稳定性与收敛速度？
• RQ2 熵正则化是否能使智能体学习到时变的探索策略，以优化探索与利用的权衡？
• RQ3 熵正则化对平均场博弈中最优策略结构的理论影响是什么？
• RQ4 与纯利用相比，引入熵正则化在收敛性与均衡准确性方面有何差异？
• RQ5 该算法能否以高精度学习到最优探索调度（即时变策略方差）？

主要发现

• 当熵正则化缺失（$\lambda_{SE} = 0$）时，算法不稳定，误差水平波动剧烈，并在平均场更新时出现突然跳跃。
• 在熵正则化下（$\lambda_{SE} = 1$ 或 $3$），算法实现稳定收敛，收敛时间取决于正则化强度，为3至5轮外循环。
• 更高的熵正则化可提升收敛速度：$\lambda_{SE} = 3$ 仅需3轮外循环即收敛，而 $\lambda_{SE} = 1$ 需5轮。
• 对于 $\lambda_{SE} = 1$ 和 $3$，算法在平均场状态 $m_s$ 和价值函数 $V_s$ 上的误差均低于5%。
• 智能体成功学习到最优探索调度，策略方差随时间递减，且估计误差低于5%。
• 所学习的平均场均衡准确：当 $\lambda_{SE} = 1$ 时，$\widehat{M} = 0.732$ 对比真实值 $M = 0.75$；当 $\lambda_{SE} = 3$ 时，$\widehat{M} = 0.736$。