[论文解读] Dynamic Programming Principles for Mean-Field Controls with Learning

Haotian Gu, Xin Guo+2 more|arXiv (Cornell University)|Nov 17, 2019

Reinforcement Learning in Robotics参考文献 29被引用 16

一句话总结

该论文通过引入一种新颖的Q函数——IQ函数，首次在学习框架下建立了平均场控制（MFCs）的动态规划原理（DPP），该IQ函数考虑了状态与动作的分布。IQ函数确保了MFCs在学习过程中的时间一致性，从而支持稳定Q-learning算法的收敛，并达到帕累托最优解。数值实验验证了该方法在累积奖励方面比纳什均衡策略高出10倍。

ABSTRACT

Dynamic programming principle (DPP) is fundamental for control and optimization, including Markov decision problems (MDPs), reinforcement learning (RL), and more recently mean-field controls (MFCs). However, in the learning framework of MFCs, DPP has not been rigorously established, despite its critical importance for algorithm designs. In this paper, we first present a simple example in MFCs with learning where DPP fails with a mis-specified Q function; and then propose the correct form of Q function in an appropriate space for MFCs with learning. This particular form of Q function is different from the classical one and is called the IQ function. In the special case when the transition probability and the reward are independent of the mean-field information, it integrates the classical Q function for single-agent RL over the state-action distribution. In other words, MFCs with learning can be viewed as lifting the classical RLs by replacing the state-action space with its probability distribution space. This identification of the IQ function enables us to establish precisely the DPP in the learning framework of MFCs. Finally, we illustrate through numerical experiments the time consistency of this IQ function.

研究动机与目标

• 在强化学习中，尽管动态规划原理（DPP）具有关键作用，但其在学习框架下的平均场控制（MFCs）中尚未被严格证明，本研究旨在严格建立MFCs中的DPP。
• 识别在MFCs中带学习的正确Q函数形式，该形式与经典Q函数不同，因其依赖于状态与动作的分布而非单个状态。
• 通过引入IQ函数，解决MFCs中的时间不一致性问题，该函数通过在概率分布空间上操作而非状态-动作空间，实现了对经典强化学习的提升。
• 通过在供应博弈场景中的数值实验，验证IQ函数的时间一致性与收敛性。
• 在大规模决策中，比较MFC解（帕累托最优）与MFG解（纳什均衡）的性能，展示帕累托最优性在效率上的优势。

提出的方法

• 提出IQ函数作为MFCs中带学习的正确Q函数，其定义于状态-动作分布空间而非单个状态，以确保时间一致性。
• 提出一种基于投影的算法（算法2），通过将下一状态分布投影到离散化概率空间，保持可行性，从而确保数值稳定性。
• 采用Q-learning更新规则：$ Q_{t+1}\left(\nu, h\right) = \left(1-l_t\right)Q_t\left(\nu, h\right) + l_t \times \left(\hat{r}_t + \gamma \max_{h'} Q_t\left(\nu', h'\right)\right) $，其中 $ \nu' $ 为投影后的下一状态分布。
• 采用离散化状态-动作空间 $ \hat{\mathcal{P}}\left(\mathcal{S}\right) \times \hat{\mathcal{H}} $ 以使问题计算上可行，设定 $ N_s = 20 $，$ N_a = 20 $，并采用恒定学习率 $ l_t = 0.1 $。
• 使用玻尔兹曼策略 $ \pi(s)(a) \sim \exp\left(\beta Q(s,a)\right) $（其中 $ \beta = 1 $）比较MFC策略（帕累托最优）与MFG策略（纳什均衡）。
• 在包含100个时间步的供应博弈中进行数值实验，以验证收敛性与性能，测量累积奖励与所学策略下的期望供应量。

实验结果

研究问题

• RQ1 经典Q函数是否因时间不一致性而在平均场控制中带学习时失效？若是，原因是什么？
• RQ2 在MFCs中带学习的正确Q函数形式是什么？该形式如何确保时间一致性并支持稳定学习？
• RQ3 能否通过所提出的IQ函数在MFCs的学习框架中严格建立动态规划原理？
• RQ4 在累积奖励与供应行为方面，帕累托最优的MFC策略相较于纳什均衡的MFG策略表现如何？
• RQ5 IQ函数在实际学习设置中是否具有数值稳定性与收敛性？

主要发现

• 在供应博弈实验中，IQ函数在60轮外部迭代内收敛至误差小于0.01的稳定解。
• 在1000轮实验中，MFC策略的累积奖励约为MFG策略的10倍，表明在大规模系统中，帕累托最优性相比纳什均衡具有显著的效率优势。
• 在MFC解下，当价格较低时（例如，$ \mathbb{E}[a^*(0)] = 0.4 $），代理供应较少；当价格较高时（例如，$ \mathbb{E}[a^*(19)] = 3.1 $），供应更多，反映出对价格影响的最优响应。
• 由于竞争激励，MFG解导致始终更高的期望供应量（例如，$ \mathbb{E}[a^*(19)] = 3.68 $），从系统整体视角看，表明其存在效率低下。
• IQ函数具有时间一致性，这通过Q-learning算法的收敛性以及投影后状态分布的稳定性得到验证。
• IQ函数通过在状态与动作的概率分布空间上操作，将单智能体强化学习推广至平均场设置，有效实现了对经典Q-learning的泛化。