[论文解读] How Evolutionary Dynamics Affects Network Reciprocity in Prisoner's Dilemma

Giulio Cimini, Ángel Sánchez|arXiv (Cornell University)|Jan 1, 2015

Evolutionary Game Theory and Cooperation参考文献 53被引用 16

一句话总结

本文通过在不同网络结构和策略更新规则下进行基于代理的模拟，研究了不同演化动态对囚徒困境博弈中网络互惠的影响。研究发现，仅当玩家使用基于收益比较的策略时，网络互惠——即空间结构维持合作——才会出现；当策略基于模仿或最优响应更新且不考虑邻居收益时，合作水平在各类网络中保持不变，这解释了实验中网络结构对合作无影响的现象。

ABSTRACT

Cooperation lies at the foundations of human societies, yet why people cooperate remains a conundrum. The issue, known as network reciprocity, of whether population structure can foster cooperative behavior in social dilemmas has been addressed by many, but theoretical studies have yielded contradictory results so far—as the problem is very sensitive to how players adapt their strategy. However, recent experiments with the prisoner's dilemma game played on different networks and in a specific range of payoffs suggest that humans, at least for those experimental setups, do not consider neighbors' payoffs when making their decisions, and that the network structure does not influence the final outcome. In this work we carry out an extensive analysis of different evolutionary dynamics, taking into account most of the alternatives that have been proposed so far to implement players' strategy updating process. In this manner we show that the absence of network reciprocity is a general feature of the dynamics (among those we consider) that do not take neighbors' payoffs into account. Our results, together with experimental evidence, hint at how to properly model real people's behavior.

研究动机与目标

• 解决理论预测的网络互惠与实验结果中人类合作无网络效应之间的矛盾。
• 研究各种演化动态（尤其是非基于收益比较的动态）对结构化群体中合作出现的影响。
• 识别与社会困境中人类实证行为一致的策略更新机制。
• 确定人类实验中网络互惠缺失是否为非收益比较动态的一般特征。

提出的方法

• 基于代理的模型模拟个体在复杂网络上的行为，每个个体与邻居进行重复囚徒困境博弈。
• 玩家每 τ 个回合根据十种不同的演化动态之一更新其合作概率 p(t)，包括模仿、Fermi 规则、死-生规则、最优响应和强化学习。
• 网络结构包括完全混合、Erdős–Rényi 随机网络、无标度网络、规则格子以及两个现实世界网络（电子邮件网络和 PGP 网络）。
• 收益参数设定为 R=1，P=0，T∈(1,2)，S∈(−1,0]，涵盖弱和强社会困境。
• 系统模拟 10,000 个回合，结果在 10 次独立实现上取平均以确保统计稳健性。
• 关键可观测量为合作者比例 c(t) 和合作概率 p 的稳态分布 P(p)。

实验结果

研究问题

• RQ1 当玩家不使用基于收益比较的策略更新时，网络互惠是否仍然存在？
• RQ2 哪些演化动态能导致网络互惠，哪些不能？
• RQ3 该模型的结果与近期关于大规模网络中人类实验的结果相比如何？
• RQ4 人类实验中网络效应的缺失是否为非收益比较策略更新的一般结果？
• RQ5 强化学习和最优响应动态能否解释实验中观察到的网络影响缺失？

主要发现

• 当演化动态不考虑邻居收益时，如无条件模仿、投票者模型和最优响应规则，网络互惠完全缺失。
• 对于所有非收益比较动态，最终的合作水平 c 在所有网络类型中几乎完全相同，包括完全混合网络和结构化网络。
• 仅基于收益比较的动态——如 Fermi 规则和比例模仿——表现出显著的网络互惠，规则格子和无标度网络上的合作水平更高。
• 在基于收益比较的规则下，合作概率的稳态分布 P(p) 显示双峰峰，表明存在稳定的合作与背叛集群；而非比较规则则产生以 p=0.5 为中心的单峰、宽分布。
• 学习率 λ=10−2 的强化学习产生与非收益比较动态相似的结果，显示无网络效应。
• 实验观察到网络结构不影响合作结果，原因在于人类玩家在策略更新中未使用收益比较，这与模型中的非比较动态一致。