[论文解读] Algorithms in Multi-Agent Systems: A Holistic Perspective from Reinforcement Learning and Game Theory

Yunlong Lu, Kai Yan|arXiv (Cornell University)|Jan 17, 2020

Reinforcement Learning in Robotics参考文献 87被引用 12

一句话总结

本综述全面整合了深度强化学习（DRL）与博弈论在多智能体系统中的应用，强调了博弈论解概念及算法（尤其是虚构自对弈和反事实遗憾最小化，CFR）如何通过深度学习得到适应与增强，以解决复杂的多智能体博弈问题。其主要贡献在于提出一个统一框架，展示了DRL与博弈论如何协同实现诸如德州扑克、围棋和星际争霸等游戏中超越人类水平的表现。

ABSTRACT

Deep reinforcement learning (RL) has achieved outstanding results in recent years, which has led a dramatic increase in the number of methods and applications. Recent works are exploring learning beyond single-agent scenarios and considering multi-agent scenarios. However, they are faced with lots of challenges and are seeking for help from traditional game-theoretic algorithms, which, in turn, show bright application promise combined with modern algorithms and boosting computing power. In this survey, we first introduce basic concepts and algorithms in single agent RL and multi-agent systems; then, we summarize the related algorithms from three aspects. Solution concepts from game theory give inspiration to algorithms which try to evaluate the agents or find better solutions in multi-agent systems. Fictitious self-play becomes popular and has a great impact on the algorithm of multi-agent reinforcement learning. Counterfactual regret minimization is an important tool to solve games with incomplete information, and has shown great strength when combined with deep learning.

研究动机与目标

• 弥合多智能体系统中深度强化学习（DRL）与博弈论之间的鸿沟，因为单靠任一领域均难以取得显著成功。
• 分析博弈论解概念（如纳什均衡、马尔可夫-康利链和有限理性）如何启发并指导多智能体强化学习算法的设计。
• 研究虚构自对弈与反事实遗憾最小化（CFR）等关键算法在深度学习背景下的演化与融合。
• 解决直接将DRL应用于多智能体环境时的局限性，如非马尔可夫动态与非平稳性问题。
• 提供近期多智能体人工智能突破的全面、统一视角，尤其聚焦于不完美信息与高复杂度的游戏。

提出的方法

• 整合单智能体强化学习与多智能体系统的基础概念，为多智能体学习挑战建立基准。
• 分析博弈论中的解概念，特别是纳什均衡、马尔可夫-康利链（MCC）和有限理性，作为静态均衡的动态替代方案。
• 研究虚构自对弈（FSP）作为一种自对弈机制，其中智能体针对对手的平均策略进行最优响应，在特定游戏中收敛至纳什均衡。
• 详细阐述反事实遗憾最小化（CFR）作为一种基于遗憾的不完全信息博弈算法，通过迭代过程追踪并最小化反事实遗憾。
• 提出深度CFR变体，利用神经网络近似累积遗憾与平均策略，从而实现对大规模状态空间的可扩展性。
• 引入混合方法，如在CFR中引入类似Q-learning的更新机制，以适用于非终止性博弈或缺乏完美记忆的环境，提升与DRL的兼容性。

实验结果

研究问题

• RQ1 博弈论解概念（如纳什均衡与马尔可夫-康利链）在多智能体强化学习算法的设计与评估中，如何实现改进？
• RQ2 虚构自对弈如何从一种理论博弈论模型演变为现代多智能体强化学习中的基础算法？
• RQ3 反事实遗憾最小化（CFR）如何实现对大规模、不完全信息博弈的求解？其在非马尔可夫或连续环境中的局限性是什么？
• RQ4 将深度强化学习与博弈论算法结合面临哪些关键挑战？近期方法如何应对这些挑战？
• RQ5 深度CFR及其变体在多智能体强化学习中，能在多大程度上克服完美记忆与终止状态依赖性的局限？

主要发现

• 虚构自对弈已成为现代多智能体强化学习的基石，其自对弈训练机制促成了AlphaZero在围棋、国际象棋和将棋中超越人类水平的表现。
• 结合深度学习的反事实遗憾最小化（CFR）在不完全信息游戏中实现了最先进性能，如德州扑克，达到超越人类水平的结果。
• 采用神经网络近似遗憾与平均策略的深度CFR变体显著提升了可扩展性，例如双神经网络CFR使用两个LSTM网络分别建模遗憾与策略。
• 加权CFR变体（如线性与折扣CFR）通过强调近期的遗憾与策略更新，改善了收敛性，降低了近似误差。
• 将CFR与类似Q-learning的更新机制结合的混合算法，使非终止性马尔可夫博弈（如NoSDE）实现收敛，而此前方法均告失败。
• 尽管深度CFR方法在性能上取得成功，但在缺乏完美记忆或具有连续、非终止动态的环境中仍面临挑战，凸显了与循环神经网络或函数逼近方法进一步融合的必要性。