[论文解读] Inferring Strategies from Observations in Long Iterated Prisoner's Dilemma Experiments

Eladio Montero-Porras, Jelena Grujić+2 more|arXiv (Cornell University)|Feb 8, 2022

Evolutionary Game Theory and Cooperation参考文献 50被引用 12

一句话总结

本研究采用无监督聚类和隐马尔可夫模型（HMMs）来推断在固定搭档与随机轮换搭档条件下长期重复囚徒困境（IPD）实验中人类策略的形成。结果表明，固定搭档关系促进了以TFT和WSLS类策略为基础的自组织合作，而随机轮换搭档则导致纠缠不清、非合作的子群体，且前25轮的学习效应主导了行为模式。

ABSTRACT

While many theoretical studies have revealed the strategies that could lead to and maintain cooperation in the Iterated Prisoner's Dilemma, less is known about what human participants actually do in this game and how strategies change when being confronted with anonymous partners in each round. Previous attempts used short experiments, made different assumptions of possible strategies, and led to very different conclusions. We present here two long treatments that differ in the partner matching strategy used, i.e. fixed or shuffled partners. Here we use unsupervised methods to cluster the players based on their actions and then Hidden Markov Model to infer what are those strategies in each cluster. Analysis of the inferred strategies reveals that fixed partner interaction leads to a behavioral self-organization. Shuffled partners generate subgroups of strategies that remain entangled, apparently blocking the self-selection process that leads to fully cooperating participants in the fixed partner treatment. Analyzing the latter in more detail shows that AllC, AllD, TFT- and WSLS-like behavior can be observed. This study also reveals that long treatments are needed as experiments less than 25 rounds capture mostly the learning phase participants go through in these kinds of experiments.

研究动机与目标

• 理解人类玩家在不预设特定策略的前提下，于长期重复囚徒困境（IPD）游戏中实际的行为表现。
• 探究搭档匹配方式（固定 vs. 随机轮换）对合作策略形成与稳定性的影响力。
• 确定是否需要较长的实验时长才能观察到初始学习阶段之后的战略稳定化。
• 基于数据驱动的无监督方法，从行为数据中推断实际决策策略，而非依赖理论假设。

提出的方法

• 应用无监督聚类方法，根据玩家的动作序列及其与对手的互动，对玩家进行分组，以捕捉其在不同情境下的行为相似性。
• 使用隐马尔可夫模型（HMMs）从聚类后的动作序列中推断潜在策略，通过建模概率状态转移来实现。
• 通过将数据划分为25轮的时间窗口，进行时间序列分析，以区分学习阶段与稳定阶段。
• 对比两种实验处理方式：固定搭档（FP）与随机轮换搭档（SP），以评估搭档结构对策略形成的影响。
• 采用多种方法验证聚类结果的稳健性，并确认不同技术间分组结果具有显著重叠。
• 基于动作模式与转移概率，将推断出的HMM状态映射到已知的理论策略（如TFT、WSLS、AllC、AllD）上。

实验结果

研究问题

• RQ1 人类在IPD中的策略如何随长期实验时长演变？战略稳定化在何时达成？
• RQ2 搭档匹配方式（固定 vs. 随机轮换）如何影响合作策略的形成与一致性？
• RQ3 在不预设理论策略集合的前提下，能在多大程度上从行为数据中推断真实的人类策略？
• RQ4 初始学习阶段在塑造重复IPD游戏中长期战略行为方面发挥何种作用？
• RQ5 与确定性策略映射相比，概率模型（如HMMs）在捕捉IPD中人类决策行为方面表现如何？

主要发现

• 固定搭档互动促进了自组织合作，60%的聚类表现出类似TFT或WSLS的策略，且随时间趋于稳定。
• 随机轮换搭档处理产生了纠缠不清的子群体，策略难以自我选择，仅20%的参与者表现出一致的合作模式。
• 前25轮主要受学习与探索主导，两种处理方式在此阶段均未观察到稳定策略的形成。
• AllC与AllD行为分别在15%与10%的聚类中被观察到，表明非合作或无条件策略在部分子群体中持续存在。
• HMM推断显示，30%的参与者采用与严格理论策略不符的概率响应模式，凸显了行为的复杂性。
• SP处理中的参与者策略一致性较低，对相互合作（CC）的响应变异性更高，仅5%的玩家在某一子群中曾在相互合作后仍选择合作一次。