[论文解读] The Machine Psychology of Cooperation: Can GPT models operationalise prompts for altruism, cooperation, competitiveness and selfishness in economic games?

Steve Phelps, Yvan I. Russell|Middlesex University Research Repository (Middlesex University Of London)|May 13, 2023

Language and cultural evolution被引用 13

一句话总结

这篇论文测试 GPT-3.5 是否能够将描述利他主义、自私以及相关特征的自然语言提示，转化为在迭代囚徒困境模拟中的合作或竞争行为。

ABSTRACT

We investigated the capability of the GPT-3.5 large language model (LLM) to operationalize natural language descriptions of cooperative, competitive, altruistic, and self-interested behavior in two social dilemmas: the repeated Prisoners Dilemma and the one-shot Dictator Game. Using a within-subject experimental design, we used a prompt to describe the task environment using a similar protocol to that used in experimental psychology studies with human subjects. We tested our research question by manipulating the part of our prompt which was used to create a simulated persona with different cooperative and competitive stances. We then assessed the resulting simulacras' level of cooperation in each social dilemma, taking into account the effect of different partner conditions for the repeated game. Our results provide evidence that LLMs can, to some extent, translate natural language descriptions of different cooperative stances into corresponding descriptions of appropriate task behaviour, particularly in the one-shot game. There is some evidence of behaviour resembling conditional reciprocity for the cooperative simulacra in the repeated game, and for the later version of the model there is evidence of altruistic behaviour. Our study has potential implications for using LLM chatbots in task environments that involve cooperation, e.g. using chatbots as mediators and facilitators in public-goods negotiations.

研究动机与目标

• 研究大型语言模型是否能够将关于利他主义和自私的自然语言描述转化为社交困境中的行动策略。
• 在将 LLM 模拟体实例化为不同提示时，评估迭代囚徒困境中的合作。
• 考察基于提示的人格和伙伴策略在多代理环境中对新兴合作行为的影响。

提出的方法

• 使用 GPT-3.5-turbo 的自内生设计，对 15 个仿真体在五种动机组（竞争、利他、利己、混合、对照）下进行自动化仿真。
• 参与者以预定义的 payoff 矩阵进行六轮迭代囚徒困境（T=7，R=5，P=3，S=0；2R>T+S）。
• 采用三种伙伴条件（无条件背叛、无条件合作、Tit-for-tat 变体）以及每组的三种提示变体。
• 从 1800 轮 PD 中收集数据，通过正则表达式提取选择并计算总分与合作频率。
• 附录中提供提示与转录；代码可在一个仓库中获取。

(a) Cooperation frequency by group

实验结果

研究问题

• RQ1 LLMs 是否能够将描述利他主义或自私的自然语言提示转化为相应的合作或竞争行为？
• RQ2 不同提示所诱导的人格（利他、竞争、利己、混合）如何影响在一个迭代的非零和博弈中的合作？
• RQ3 LLM 生成的代理是否会根据伙伴行为（互惠性）调整合作，还是主要反映初始提示？
• RQ4 伙伴策略（无条件、互惠）在塑造提示实例化代理的涌现行为中扮演何种角色？

主要发现

count	mean	std	min	25%	50%	75%	max
Group.Altruistic	360.00	0.90	0.17	0.33	0.83	1.00	1.00	1.00
Group.Competitive	360.00	0.14	0.16	0.00	0.00	0.17	0.33	0.50
Group.Control	345.00	0.53	0.24	0.00	0.50	0.50	0.67	1.00
Group.Mixed	360.00	0.52	0.25	0.00	0.50	0.50	0.50	1.00
Group.Selfish	360.00	0.15	0.17	0.00	0.00	0.00	0.33	0.50

• 编码合作与竞争特征的提示在迭代囚徒困境中产生不同的合作水平。
• 利他、竞争、混合和自私的仿真体表现出不同的合作模式，表明提示在行为上的部分转化。
• 对照组有时与人类风格的 PD 行为保持一致，但总体上 LLM 难以根据伙伴的互惠性调整策略。
• 有些结果显示对背叛者的合作增加、对合作者的合作减少，提示在人类社会规范的泛化方面存在局限。
• GPT-3.5 在一定程度上能够将利他主义/自私转化为操作性行为，但对互惠性的细化适应有限。

(b) Cooperation frequency by condition