[论文解读] Mean Field Games Flock! The Reinforcement Learning Way

Sarah Perrin, Mathieu Laurière+4 more|arXiv (Cornell University)|May 17, 2021

Reinforcement Learning in Robotics参考文献 2被引用 8

一句话总结

该论文提出 Flock'n RL，一种结合虚构博弈、归一化流与软 actor-critic 的深度强化学习方法，用于求解高维平均场博弈中的多智能体聚群问题。该方法在复杂拓扑结构与障碍物环境下，实现了大规模群体的去中心化一致性，即使在 6D 状态空间中也能实现稳定的聚群行为，且对系统结构的假设极少。

ABSTRACT

We present a method enabling a large number of agents to learn how to flock, which is a natural behavior observed in large populations of animals. This problem has drawn a lot of interest but requires many structural assumptions and is tractable only in small dimensions. We phrase this problem as a Mean Field Game (MFG), where each individual chooses its acceleration depending on the population behavior. Combining Deep Reinforcement Learning (RL) and Normalizing Flows (NF), we obtain a tractable solution requiring only very weak assumptions. Our algorithm finds a Nash Equilibrium and the agents adapt their velocity to match the neighboring flock's average one. We use Fictitious Play and alternate: (1) computing an approximate best response with Deep RL, and (2) estimating the next population distribution with NF. We show numerically that our algorithm learn multi-group or high-dimensional flocking with obstacles.

研究动机与目标

• 为解决大规模群体中在极少结构假设下的可扩展、去中心化聚群问题。
• 克服传统平均场博弈求解器在高维或复杂拓扑状态空间中的计算不可行性。
• 开发一种无需环境动力学完整知识的无模型强化学习方法，以学习多智能体聚群场景下的纳什均衡。
• 在经典基于 PDE 的方法失效的高维设置中，实现多群聚群与避障。
• 通过近似可 exploited 性与性能矩阵等指标，在具有挑战性的数值环境中评估解的质量。

提出的方法

• 该方法将聚群问题建模为平均场博弈，其中每个智能体的奖励依赖于群体状态与速度的经验分布。
• 采用虚构博弈：在通过深度强化学习（软 actor-critic）计算近似最优响应与利用归一化流估计下一时刻群体分布之间交替进行。
• 归一化流用于高效表示与更新高维状态空间中不断演化的群体分布。
• 奖励函数包含基于邻居速度加权平均的对齐项，其中参数 β 控制对邻近程度的敏感度。
• 该算法以无模型方式训练，除环境交互外，无需显式了解系统动力学。
• 通过在奖励函数中引入碰撞惩罚与反弹机制，将方法扩展至处理障碍物。

实验结果

研究问题

• RQ1 深度强化学习方法是否能在传统基于 PDE 的 MFG 求解器失效的高维状态空间中，实现稳定且去中心化的聚群？
• RQ2 如何将虚构博弈与深度强化学习、归一化流结合，以实现对大规模群体与复杂拓扑的扩展？
• RQ3 该方法是否能支持具有不同运动方向的多群聚群，即使在初始速度随机设定下也能实现？
• RQ4 在含障碍物与非光滑几何结构的环境中，该方法在性能与收敛性方面能保持到何种程度？
• RQ5 在缺乏真实均衡解的情况下，如何通过可 exploited 性与性能矩阵等指标评估解的质量？

主要发现

• Flock'n RL 算法成功在高维设置（6D）中学习到多群聚群行为，当 β=100 时，智能体分裂为朝相反方向移动的群体。
• 当 β=0 时，该方法始终实现全局一致性，表明算法能适应奖励结构并维持聚群行为。
• 在障碍物丰富的环境中，智能体学会通过复杂路径导航，避免碰撞并实现稳定的聚群行为。
• 近似可 exploited 性随时间减少，表明向纳什均衡收敛，且在避障场景中观察到更快的收敛速度。
• 该方法可推广至复杂拓扑结构，包括非光滑边界与障碍物，而这些对经典基于 PDE 的 MFG 求解器而言是难以处理的。
• 不同随机种子产生不同的有效解，证实了该方法在复杂环境中发现多样化、高性能路径的能力。