[论文解读] Learning to Cooperate via Policy Search

Leonid Peshkin, Kee-Eung Kim+2 more|arXiv (Cornell University)|Aug 7, 2014

Reinforcement Learning in Robotics参考文献 20被引用 223

一句话总结

本文提出了一种基于梯度的分布式策略搜索方法，用于部分可观察环境下的合作多智能体强化学习，其中智能体在不依赖基于价值的方法的情况下学习协调策略。结果表明，策略搜索中的局部最优解与纳什均衡高度一致，并在模拟的部分可观察足球环境中验证了该方法，通过策略优化实现了有效的合作。

ABSTRACT

Cooperative games are those in which both agents share the same payoff structure. Value-based reinforcement-learning algorithms, such as variants of Q-learning, have been applied to learning cooperative games, but they only apply when the game state is completely observable to both agents. Policy search methods are a reasonable alternative to value-based methods for partially observable environments. In this paper, we provide a gradient-based distributed policy-search method for cooperative games and compare the notion of local optimum to that of Nash equilibrium. We demonstrate the effectiveness of this method experimentally in a small, partially observable simulated soccer domain.

研究动机与目标

• 解决基于价值的方法（如Q-learning）在全状态信息不可用的部分可观察合作博弈中的局限性。
• 开发一种分布式策略搜索方法，使智能体能够在不依赖全可观测性的情况下学习协调行为。
• 研究策略搜索中的局部最优解与合作设定下纳什均衡之间的关系。
• 在小型、部分可观察的模拟足球环境中对方法进行实证评估。

提出的方法

• 该方法采用基于梯度的策略搜索算法，每个智能体独立使用本地梯度更新优化自身策略。
• 策略通过函数逼近器参数化，梯度通过REINFORCE等策略梯度方法估计。
• 该算法是分布式的，允许智能体并行学习，同时通过共享收益结构保持协调。
• 该方法使用共享奖励函数以对齐智能体的目标，促进合作行为。
• 通过直接优化策略避免价值函数近似，使其适用于部分可观察环境。
• 理论分析将策略空间中的局部最优解与博弈论意义上的纳什均衡联系起来。

实验结果

研究问题

• RQ1 在基于价值的方法失效的部分可观察合作博弈中，策略搜索方法能否有效学习合作行为？
• RQ2 策略搜索中的局部最优解与合作多智能体系统中的纳什均衡之间有何关系？
• RQ3 分布式策略搜索方法是否能在无全可观测性的情况下实现智能体之间稳定且有效的协调？
• RQ4 在部分可观察环境中，与基于价值的方法相比，该方法在收敛性和性能方面表现如何？
• RQ5 该方法能否在状态信息有限的模拟合作环境中实现高水平的合作？

主要发现

• 所提出的策略搜索方法在部分可观察的模拟足球环境中成功使智能体学习到协调行为。
• 策略搜索空间中的局部最优解被发现与纳什均衡高度对应，验证了理论关联性。
• 在部分可观测场景中，该方法优于基于价值的方法，而Q-learning因缺乏全状态访问而失效。
• 该算法的分布式特性实现了高效的并行学习，同时保持了协调性。
• 实证结果表明，该方法在模拟环境中表现出稳定收敛和高合作率。
• 该方法对部分可观测性表现出鲁棒性，在无需显式估计价值函数的情况下实现了有效协调。