[论文解读] Learning Nash Equilibrium for General-Sum Markov Games from Batch Data

Julien Pérolat, Florian Strub+2 more|arXiv (Cornell University)|Jun 28, 2016

Game Theory and Applications被引用 28

一句话总结

本论文提出了一种新颖方法，通过函数逼近从批量数据中学习一般和博弈中的 ǫ-Nash 均衡。它引入了弱 ǫ-Nash 均衡的概念，并证明最小化两个类似贝尔曼残差的 Lp 范数可确保收敛至此类均衡，随后通过一种神经网络架构（NashNetwork）联合学习价值函数与策略，实现在多人设置下的稳定、可扩展学习，并在合成 Garnet 博弈中进行了实证验证。

ABSTRACT

This paper addresses the problem of learning a Nash equilibrium in $\gamma$-discounted multiplayer general-sum Markov Games (MG). A key component of this model is the possibility for the players to either collaborate or team apart to increase their rewards. Building an artificial player for general-sum MGs implies to learn more complex strategies which are impossible to obtain by using techniques developed for two-player zero-sum MGs. In this paper, we introduce a new definition of $\epsilon$-Nash equilibrium in MGs which grasps the strategy's quality for multiplayer games. We prove that minimizing the norm of two Bellman-like residuals implies the convergence to such an $\epsilon$-Nash equilibrium. Then, we show that minimizing an empirical estimate of the $L_p$ norm of these Bellman-like residuals allows learning for general-sum games within the batch setting. Finally, we introduce a neural network architecture named NashNetwork that successfully learns a Nash equilibrium in a generic multiplayer general-sum turn-based MG.

研究动机与目标

• 解决在环境动态和奖励未知时，学习多人一般和博弈中 Nash 均衡的挑战。
• 通过引入弱 ǫ-Nash 均衡概念，克服现有方法在一般和设置下失效的局限性。
• 在批量设置中实现函数逼近，以扩展至表格方法失效的大状态空间。
• 开发一种统一的深度学习框架，联合优化所有玩家的价值函数与策略。
• 在合成、确定性的多人博弈中，展示方法在不同玩家数量下的可扩展性与鲁棒性。

提出的方法

• 为多人一般和博弈提出一种专用于此类博弈的弱 ǫ-Nash 均衡新定义。
• 定义两个类似贝尔曼的残差——一个用于价值函数一致性，一个用于策略最优性——其联合最小化可确保 ǫ-Nash 均衡收敛。
• 基于批量数据，对这些残差构建经验 Lp 范数目标，实现无需在线交互的离策略学习。
• 提出一种新型神经网络架构 NashNetwork，包含每个玩家共享的 Q 网络和策略网络，使用 ReLU 和 Softmax 激活函数。
• 通过 AdamGrad 进行网络训练，采用独立的学习率和权重衰减，最小化训练集与测试集上的经验贝尔曼残差范数。
• 在合成 Garnet 环境中使用二进制状态编码和循环奖励函数，以评估泛化能力与可扩展性。

实验结果

研究问题

• RQ1 能否在一般和多人博弈中正式定义并表征弱 ǫ-Nash 均衡？
• RQ2 最小化两个类似贝尔曼残差之和是否可保证在该类博弈中收敛至弱 ǫ-Nash 均衡？
• RQ3 函数逼近能否与批量数据有效结合，以在大规模多人博弈中学习 Nash 均衡？
• RQ4 所提出的 NashNetwork 架构在合成环境中对不同数量的玩家如何实现可扩展性？
• RQ5 经验贝尔曼残差范数在多大程度上与最佳响应的实际误差相关，从而反映均衡质量？

主要发现

• 该方法仅使用批量数据，成功在多人一般和博弈中学习到弱 ǫ-Nash 均衡，训练与测试指标均显示出收敛。
• 所有玩家的“误差 vs 最佳响应”指标降至接近零，表明任何玩家单方面改变策略，其累积奖励平均提升不超过 8%。
• 各玩家的策略质量保持良好平衡，状态空间内标准差小于 5 分，表现出一致的性能。
• 神经网络从 2 名玩家扩展至 5 名玩家时仍保持有效，策略质量相似，表明对玩家数量增加具有鲁棒性。
• 经验贝尔曼残差范数与“误差 vs 最佳响应”指标同步下降，证实训练目标与均衡质量一致。
• 数据不足时观察到过拟合现象，且收敛需要大量样本，表明该方法在数据效率方面仍面临挑战。