[论文解读] Deep reinforcement learning models the emergent dynamics of human cooperation

Kevin R. McKee, Edward Hughes+8 more|arXiv (Cornell University)|Mar 8, 2021

Evolutionary Game Theory and Cooperation参考文献 2被引用 4

一句话总结

本文利用多智能体深度强化学习，模拟内在声誉动机如何驱动集体行动中类人的时间与空间协调。模型成功预测出，在公共品困境中，追求声誉的群体倾向于采用非领地性、轮流进行的策略，该结果与观察到的人类行为数据一致。

ABSTRACT

Collective action demands that individuals efficiently coordinate how much, where, and when to cooperate. Laboratory experiments have extensively explored the first part of this process, demonstrating that a variety of social-cognitive mechanisms influence how much individuals choose to invest in group efforts. However, experimental research has been unable to shed light on how social cognitive mechanisms contribute to the where and when of collective action. We leverage multi-agent deep reinforcement learning to model how a social-cognitive mechanism--specifically, the intrinsic motivation to achieve a good reputation--steers group behavior toward specific spatial and temporal strategies for collective action in a social dilemma. We also collect behavioral data from groups of human participants challenged with the same dilemma. The model accurately predicts spatial and temporal patterns of group behavior: in this public goods dilemma, the intrinsic motivation for reputation catalyzes the development of a non-territorial, turn-taking strategy to coordinate collective action.

研究动机与目标

• 探究社会认知机制（尤其是声誉动机）如何影响集体行动的时间与空间协调。
• 弥补实验研究中对合作‘在何处’和‘在何时’出现的不足，超越仅关注个体贡献‘多少’的局限。
• 开发一个计算模型，利用深度强化学习捕捉群体困境中涌现的协调模式。
• 通过人类参与者在受控社会困境中的实证行为数据，验证该模型的有效性。
• 证明声誉动机可导致群体合作中非领地性、轮流进行的策略。

提出的方法

• 采用多智能体深度强化学习，模拟多个智能体在公共品困境中学习协调合作的过程。
• 将内在声誉作为奖励信号，智能体通过在同龄人中保持高声誉而获得奖励。
• 使用深度Q网络（DQN）并共享策略网络进行训练，以实现无需显式规则的涌现协调。
• 通过在结构化环境中建模智能体的位置与轮流行为，模拟其时空动态。
• 利用人类实验的行为数据校准模型，以确保生态效度。
• 通过将模型预测的空间与时间协调模式与人类实际行为对比，评估模型性能。

实验结果

研究问题

• RQ1 内在声誉动机如何塑造群体困境中合作的时间与空间分布？
• RQ2 深度强化学习模型能否复现人类群体中观察到的涌现协调模式？
• RQ3 基于声誉的行为是否会导致集体行动中非领地性、轮流进行的策略？
• RQ4 诸如声誉等社会认知机制如何影响超越简单贡献水平的结构化合作的出现？
• RQ5 该模型预测的行为在多大程度上与真实人类在公共品情境下的行为数据一致？

主要发现

• 该模型准确预测了群体合作中非领地性、轮流进行策略的出现，与观察到的人类行为一致。
• 仅靠声誉动机即可驱动协调一致、空间分布的合作，无需显式沟通或规则。
• 人类参与者表现出类似的轮流与非领地性协调模式，验证了模型预测的可靠性。
• 该模型表明，基于声誉的激励可促成社会困境中高效、自组织的协调。
• 空间与时间协调模式源于声誉驱动的学习过程，凸显了社会认知机制在集体动态中的作用。
• 模型预测与人类数据的高度一致表明，声誉是现实世界集体行动中涌现协调的关键驱动力。