[论文解读] Prosocial learning agents solve generalized Stag Hunts better than selfish ones

Alexander Peysakhovich, Adam Lerer|arXiv (Cornell University)|Sep 8, 2017

Evolutionary Game Theory and Cooperation被引用 14

一句话总结

本文提出，通过修改其奖励函数以关心伙伴的收益，使单一智能体具有利他性，可显著提高在广义猎鹿游戏（generalized Stag Hunt games）中群体收敛至高收益均衡的可能性，即使其他智能体使用反应式强化学习。关键结果表明，利他性在矩阵形式和具有函数近似的复杂马尔可夫游戏中，均扩大了高效结果的吸引盆（basin of attraction）。

ABSTRACT

Deep reinforcement learning has become an important paradigm for constructing agents that can enter complex multi-agent situations and improve their policies through experience. One commonly used technique is reactive training - applying standard RL methods while treating other agents as a part of the learner's environment. It is known that in general-sum games reactive training can lead groups of agents to converge to inefficient outcomes. We focus on one such class of environments: Stag Hunt games. Here agents either choose a risky cooperative policy (which leads to high payoffs if both choose it but low payoffs to an agent who attempts it alone) or a safe one (which leads to a safe payoff no matter what). We ask how we can change the learning rule of a single agent to improve its outcomes in Stag Hunts that include other reactive learners. We extend existing work on reward-shaping in multi-agent reinforcement learning and show that that making a single agent prosocial, that is, making them care about the rewards of their partners can increase the probability that groups converge to good outcomes. Thus, even if we control a single agent in a group making that agent prosocial can increase our agent's long-run payoff. We show experimentally that this result carries over to a variety of more complex environments with Stag Hunt-like dynamics including ones where agents must learn from raw input pixels.

研究动机与目标

• 解决多智能体强化学习中低效均衡选择的问题，特别是在猎鹿游戏等一般和博弈（general-sum games）中。
• 研究当其他智能体使用反应式训练时，修改单一智能体的学习规则如何改善集体结果。
• 探索利他性奖励塑造（即让智能体关心其伙伴的收益）是否能带来更好的协调性与更高的长期收益。
• 将研究结果从简单的矩阵博弈推广至具有原始像素输入和函数近似的复杂环境。
• 评估利他性在不同游戏动态和学习架构下的鲁棒性。

提出的方法

• 通过在奖励函数中引入自身收益与伙伴收益的加权和，对单一智能体实施奖励塑造。
• 对所有智能体使用独立多智能体强化学习（independent MARL），将其他智能体视为环境的一部分。
• 在具有原始像素观测的环境中，使用深度Q网络（DQN）和双DQN（dueling DQN）架构进行训练。
• 通过超参数α控制伙伴收益在智能体目标函数中的权重，实现利他性。
• 使用收益主导性（payoff dominance）、风险主导性（risk dominance）和吸引盆大小等指标评估均衡收敛性。
• 在矩阵形式猎鹿游戏和具有随机动态的复杂马尔可夫游戏中，将利他性智能体与自私智能体进行对比。

实验结果

研究问题

• RQ1 在猎鹿游戏中，对单一智能体实施利他性奖励塑造，是否能提高群体收敛至收益主导性均衡的可能性？
• RQ2 在具有函数近似和原始输入（如像素）的复杂环境中，利他性是否依然有效？
• RQ3 与自私学习相比，利他性如何影响高效均衡吸引盆的大小？
• RQ4 在非猎鹿游戏环境（如社会困境）中，利他性存在哪些权衡？
• RQ5 非均衡状态动态和函数近似如何影响利他性奖励塑造的有效性？

主要发现

• 利他性智能体显著提高了反应式学习者群体在矩阵形式猎鹿游戏中收敛至收益主导性均衡的概率。
• 利他性修改扩大了高收益均衡的吸引盆，使得无论初始条件如何，系统更可能达到高效结果。
• 在具有原始像素输入的复杂马尔可夫游戏中，即使探索困难，利他性智能体在协调至高收益策略方面仍优于自私智能体。
• 利他性的优势在不同架构和学习动态下均表现鲁棒，包括猎物逃跑且需协调行动的环境。
• 然而，在非猎鹿游戏（如社会困境）中，利他性可能带来负面影响，导致被自私伙伴剥削。
• 函数近似和网络架构会影响发现不同均衡的相对可能性，凸显了架构先验在多智能体学习中的重要性。