[论文解读] Concave Utility Reinforcement Learning: the Mean-Field Game Viewpoint

Matthieu Geist, Julien Pérolat+6 more|arXiv (Cornell University)|Jun 7, 2021

Auction Theory and Applications参考文献 26被引用 9

一句话总结

本文证明了凹效用强化学习（CURL）是平均场博弈（MFGs）的一个子类，通过揭示CURL中的凹性与MFG中的单调性之间的等价关系，统一了两个研究领域，并将最优性条件与纳什均衡联系起来。研究表明，CURL的虚拟博弈算法等价于Frank-Wolfe方法，首次为离散时间虚拟博弈在MFG中提供了收敛速率分析；此外，数值实验表明，MFG专用算法如在线镜像下降（OMD）在求解CURL问题时优于标准方法。

ABSTRACT

Concave Utility Reinforcement Learning (CURL) extends RL from linear to concave utilities in the occupancy measure induced by the agent's policy. This encompasses not only RL but also imitation learning and exploration, among others. Yet, this more general paradigm invalidates the classical Bellman equations, and calls for new algorithms. Mean-field Games (MFGs) are a continuous approximation of many-agent RL. They consider the limit case of a continuous distribution of identical agents, anonymous with symmetric interests, and reduce the problem to the study of a single representative agent in interaction with the full population. Our core contribution consists in showing that CURL is a subclass of MFGs. We think this important to bridge together both communities. It also allows to shed light on aspects of both fields: we show the equivalence between concavity in CURL and monotonicity in the associated MFG, between optimality conditions in CURL and Nash equilibrium in MFG, or that Fictitious Play (FP) for this class of MFGs is simply Frank-Wolfe, bringing the first convergence rate for discrete-time FP for MFGs. We also experimentally demonstrate that, using algorithms recently introduced for solving MFGs, we can address the CURL problem more efficiently.

研究动机与目标

• 建立凹效用强化学习（CURL）与平均场博弈（MFGs）之间的理论桥梁。
• 证明CURL中的凹性对应于相关MFG中的单调性，且CURL中的最优性对应于MFG中的纳什均衡。
• 通过将CURL中的虚拟博弈识别为一种Frank-Wolfe方法，统一算法视角，并实现收敛速率分析。
• 通过实证表明，MFG专用算法如在线镜像下降（OMD）在求解CURL问题时优于经典虚拟博弈方法。
• 探索利用MFG算法求解一般CURL问题的潜力，包括探索、模仿学习和约束马尔可夫决策过程。

提出的方法

• 通过将占用度量和效用函数映射到MFG中代表性代理与群体的交互，理论分析表明CURL问题属于MFG的一个子类。
• 证明CURL中效用函数的凹性等价于MFG的哈密顿-雅可比-贝尔曼（HJB）算子的单调性，后者是纳什均衡存在性的已知充分条件。
• 表明CURL中的最优性条件——在占用度量上最大化凹效用——恰好对应于MFG中的可利用性条件，后者刻画了代表性代理的纳什均衡。
• 将Hazan等人[21]提出的CURL算法识别为MFG中虚拟博弈的一种实例，并进一步证明其等价于在MFG公式上应用的Frank-Wolfe方法。
• 将最近发展的用于MFG的在线镜像下降（OMD）算法应用于CURL问题，利用MFG框架通过基于梯度的优化指导策略更新。
• 数值实验在四个CURL任务上比较了虚拟博弈与OMD：纯探索、边际匹配、约束MDP和多目标强化学习，以可利用性和目标函数为指标。

实验结果

研究问题

• RQ1 是否存在CURL与MFG之间的正式等价关系，使得CURL问题可被视为MFG的一个子类？
• RQ2 CURL中效用函数的凹性是否对应于相关MFG中的单调性，且该等价关系是否保证解的存在性？
• RQ3 CURL中的最优性条件能否重新解释为MFG中的可利用性条件，反之亦然，从而在两个框架之间建立解概念的联系？
• RQ4 CURL中使用的虚拟博弈算法是否等价于MFG中的Frank-Wolfe方法，且该等价关系是否能为离散时间虚拟博弈在MFG中提供收敛速率？
• RQ5 MFG专用算法如在线镜像下降（OMD）能否有效应用于CURL问题，且在收敛速度和解质量方面是否优于经典虚拟博弈？

主要发现

• CURL中效用函数的凹性在数学上等价于对应MFG中哈密顿-雅可比-贝尔曼（HJB）算子的单调性，后者是唯一纳什均衡存在的已知条件。
• CURL中的最优性条件——在占用度量上最大化凹效用——恰好对应于MFG中的可利用性条件，后者刻画了代表性代理的纳什均衡。
• Hazan等人[21]提出的CURL虚拟博弈算法在形式上等价于在MFG公式上应用的Frank-Wolfe方法，首次为离散时间虚拟博弈在MFG中提供了已知收敛速率。
• 数值实验表明，用于MFG的在线镜像下降（OMD）算法在所有测试的CURL任务中收敛速度显著快于虚拟博弈，包括探索、边际匹配、约束MDP和多目标强化学习。
• 在所有实验中，OMD实现更低的可利用性，并在目标分布对齐方面表现更优（例如在边际匹配和约束MDP中），表明其在更少策略评估次数下获得更高质量的解。
• 最终策略群体的对数密度图显示，OMD在多模态或约束设置下生成的策略更加均匀且结构更优，显著优于虚拟博弈，证实了其优越性能。