[论文解读] Model-Free Mean-Field Reinforcement Learning: Mean-Field MDP and Mean-Field Q-Learning

René Carmona, Mathieu Laurière+1 more|arXiv (Cornell University)|Oct 28, 2019

Simulation Techniques and Applications参考文献 31被引用 39

一句话总结

本文提出一个带有共同噪声与共同策略随机化的 Mean Field MDP（MFMDP）框架，以将 mean-field 控制（MFC）与 MFMDP 连接起来，证明基础性质，并给出具有收敛性保证的无模型强化学习方法（表格与深度） 。

ABSTRACT

We study infinite horizon discounted Mean Field Control (MFC) problems with common noise through the lens of Mean Field Markov Decision Processes (MFMDP). We allow the agents to use actions that are randomized not only at the individual level but also at the level of the population. This common randomization allows us to establish connections between both closed-loop and open-loop policies for MFC and Markov policies for the MFMDP. In particular, we show that there exists an optimal closed-loop policy for the original MFC. Building on this framework and the notion of state-action value function, we then propose reinforcement learning (RL) methods for such problems, by adapting existing tabular and deep RL methods to the mean-field setting. The main difficulty is the treatment of the population state, which is an input of the policy and the value function. We provide convergence guarantees for tabular algorithms based on discretizations of the simplex. Neural network based algorithms are more suitable for continuous spaces and allow us to avoid discretizing the mean field state space. Numerical examples are provided.

研究动机与目标

• 激励并正式化带有共同噪声的无限 horizon 折扣 mean-field 控制。
• 引入 MFMDP 以捕捉总体状态与随机化效应。
• 建立 MFC 策略与 MFMDP 策略（开放式、闭合式）之间的理论联系。
• 开发并分析适应 mean-field 设置的 RL 方法（表格与深度）。
• 提供所提框架的收敛保证与数值示例。

提出的方法

• 定义一个 MFMDP，其中群体分布作为 MFMDP 的状态。
• 证明 MFMDP 值函数的动态规划原理（DPP）（定理 19）。
• 显示开放式与闭合式 MFC 值函数在 MFMDP 框架下相等（定理 27），并且存在静态闭环策略（命题 25）。
• 引入并分析 MFMDP 的状态-行动值函数（Q 函数）及其 DPP（定理 30）。
• 提出通过单纯形离散化的表格 Q-learning（定理 35），以及处理连续空间的深度 RL 方法。
• 为表格离散化方法提供收敛保证，并讨论基于神经网络的方法以避免离散化。

实验结果

研究问题

• RQ1 如何将具有共同噪声的平均场控制重新表述为对总体分布的马尔可夫决策过程？
• RQ2 在共同随机性的条件下，MFC 的开放式/闭合式策略与 MFMDP 策略之间的关系是什么？
• RQ3 是否能为 MFMDP 以及 MFQ 函数建立动态规划原理？
• RQ4 MFMDP 中的最优策略是否对应于原始 MFC 问题的最优策略，是否存在静态闭环策略？
• RQ5 无模型 RL 方法（表格与深度）能否适应带有收敛性保证的 mean-field 设置？

主要发现

• 存在原始 MFC 问题的最优闭环策略（存在性结果）。
• MFMDP 值函数成立动态规划原理（DPP）。
• 在 MFMDP 框架下，开放式与闭合式 MFC 值函数相等（定理 27）。
• 存在一个静态闭环策略（命题 25）。
• MFMDP 的状态-行动值函数满足其自身的 DPP（定理 30）。
• 在 MFMDP 设置下，表格 Q-learning 通过单纯形离散化收敛（定理 35），并提出神经网络方法以在不离散化的情况下处理连续空间。