[论文解读] GPT in Game Theory Experiments

Fulin Guo|arXiv (Cornell University)|May 9, 2023

Evolutionary Game Theory and Cooperation被引用 10

一句话总结

本论文使用 GPT-4 提示来参与有限重复的最后通牒博弈和囚徒困境博弈，分析 GPT 的公平或自私等特质如何影响决策及其背后的推理。

ABSTRACT

This paper explores the use of Generative Pre-trained Transformers (GPT) in strategic game experiments, specifically the ultimatum game and the prisoner's dilemma. I designed prompts and architectures to enable GPT to understand the game rules and to generate both its choices and the reasoning behind decisions. The key findings show that GPT exhibits behaviours similar to human responses, such as making positive offers and rejecting unfair ones in the ultimatum game, along with conditional cooperation in the prisoner's dilemma. The study explores how prompting GPT with traits of fairness concern or selfishness influences its decisions. Notably, the "fair" GPT in the ultimatum game tends to make higher offers and reject offers more frequently compared to the "selfish" GPT. In the prisoner's dilemma, high cooperation rates are maintained only when both GPT players are "fair". The reasoning statements GPT produces during gameplay reveal the underlying logic of certain intriguing patterns observed in the games. Overall, this research shows the potential of GPT as a valuable tool in social science research, especially in experimental studies and social simulations.

研究动机与目标

• 证明在策略性博弈实验中使用 GPT-4 的可行性。
• 探索在要约博弈和囚徒困境中，以公平与自私两种提示方式激励 GPT，对决策与推理的影响。
• 分析 GPT 生成的推理如何解释观察到的行为模式。
• 将 GPT 驱动的结果与经典博弈论实验中的人类行为进行比较。

提出的方法

• 使用 gpt-4-1106-preview 在每次会话中进行多轮博弈，且每个会话有两名 GPT 玩家。
• 通过提示分配两种特质：公平关切与自私，产生四种要约博弈处理和三种囚徒困境处理。
• 要求 GPT 既输出决策又输出推理，便于对决策动机进行文本分析。
• 对每种处理重复 100 次仿真，每场游戏 5 回合，采用 1.0 的温度以促进多样性。
• 分析推理文本以将动机归类为名誉建设、利他主义等主题，并进行确定性分析（推理温度设为 0）。
• 使用 OLS 与逻辑回归将要约、拒绝与回合进展等因素与 GPT 特质及回合数联系起来。

实验结果

研究问题

• RQ1 在有限重复博弈条件下，GPT 玩家在要约博弈和囚徒困境中是否表现出类似人类的行为？
• RQ2 公平与自私提示如何影响 GPT 的决策以及拒绝/合作模式？
• RQ3 可以从 GPT 生成的推理中得出哪些对观察到的模式的解释（例如第3轮的非单调拒绝，当双方都公平时的高合作）？

主要发现

• 在要约博弈中，公平的 GPT 提议约为 40%，而自私的 GPT 约为 30%（平均）。
• 对公平应答者的拒绝率较高，SF 组合的拒绝率最高（约 18%）。
• 若前一轮被接受，提议人会下调要约；被拒绝后往往提高要约。
• 在囚徒困境中，只有当双方都公平时，合作率才接近 100%；单个自私 GPT 会显著扰乱合作。
• 合作在很大程度上由名誉建设线索驱动，而非利他主义，尤其在早期轮次。
• 推理文本揭示了如预期未来要约和终局博弈动态等策略性考量，有助于解释观察到的模式。