[论文解读] Large Language Models as Simulated Economic Agents: What Can We Learn from Homo Silicus?

John J. Horton, Filippas, Apostolos+1 more|arXiv (Cornell University)|Jan 18, 2023

Economic Policies and Impacts被引用 47

一句话总结

论文认为 GPT-3 类的 LLMs 可以作为人类的隐式计算模型(homo silicus) 并通过模拟定性再现经典行为经济学结果，从而在真实世界实验之前实现低成本、可扩展的试点研究。

ABSTRACT

We argue that newly-developed large language models (LLMs), because of how they are trained and designed, are implicit computational models of humans -- a Homo silicus. LLMs can be used like economists use Homo economicus: they can be given endowments, information, preferences, and so on, and then their behavior can be explored in scenarios via simulation. Experiments using this approach, derived from Charness and Rabin (2002), Kahneman et al. (1986), Samuelson and Zeckhauser (1988), Oprea (2024b), and Horton (2025), show qualitatively similar results to the original, and when they differ, it is often generative for future research. We discuss potential applications, conceptual issues, and why this approach can inform the study of humans.

研究动机与目标

• 提出并验证使用 LLM 作为人类经济行为的隐式模型(homo silicus) 。
• 证明 GPT-3 能在行为经济学实验中再现定性发现（例如独裁者游戏、价格哄抬、现状偏误）。
• 展示赋予 LLM 信念、偏好和框架如何影响其在经济情景中的选择。
• 强调在计算机内进行试点可以在真实世界测试之前廉价地探索参数空间的潜力。

提出的方法

• 为 GPT-3 模型赋予不同的社会偏好（公平、效率、自利），并在不同情景中观察独裁者游戏的选择。
• 操控框架与类似政治信念以研究在 Kahneman 风格情景中对价格哄抬判断的影响。
• 通过改变资助分配被呈现为现状还是中性来复制现状偏见。
• 进行招聘情景以在最低工资下考察工资与经验的权衡，分析观察到的选择和结果。
• 比较 GPT-3 不同变体（text-davinci-003、text-ada-001、text-babbage-001、text-currie-001）和温度参数的输出以评估鲁棒性。
• 讨论鉴于 LLM 回答的推断性质及潜在的执行性问题对观察结果的解释。

Figure 1 : Charness and Rabin ( 2002 ) Simple Tests choices by model type and endowed “personality”

实验结果

研究问题

• RQ1 GPT-3 风格的 LLM 能否再现经典行为经济学实验中的定性模式？
• RQ2 在 LLM 中偏好、框架和类政治观点的赋予如何影响它们的经济选择？
• RQ3 基于 LLM 的仿真在成本和速度方面用于社会科学实验试点的价值是多少？
• RQ4 模型能力在多大程度上限制或促进在这些任务中类似理性自利者(homo economicus)或人道决策的行为？
• RQ5 在模型变体和提示表述之间，AI 产生的结果有多鲁棒？

主要发现

• LLMs 能在独裁者游戏设定中模仿不平等、效率和自利驱动的选择，先进的模型对赋予的偏好表现出敏感性。
• 在价格哄抬与框架任务中，AI 代理的公平判断随价格水平和政治框架而变化，类似人类模式，在某些设定中出现框架效应。
• 当选项被呈现为现状时，AI 回应中出现现状框架偏差，类似人类的现状偏见。
• 在 AI 模拟中，最低工资情景导致工资上升并向更有经验的雇员倾斜，表明在模拟层面的劳动力替代效应。
• 有能力的 GPT-3 模型以极低成本定性再现若干经典行为结果，从而实现快速、大规模的探索性研究。
• 该工作主张将 LLM 视为快速、计算机内的实验室工具，以引导真实世界的实证工作。

Figure 2 : Kahneman et al. ( 1986 ) price gouging snow shovel question, with endowed political views