[论文解读] Human vs. Machine: Behavioral Differences Between Expert Humans and Language Models in Wargame Simulations

Max Lamparth, Anthony Corso+4 more|arXiv (Cornell University)|Mar 6, 2024

Multi-Agent Systems and Negotiation被引用 4

一句话总结

本研究比较了在模拟台海危机升级的美中对抗推演中，专家人类决策与大型语言模型（LLM）模拟响应的表现。基于21种行动的决策框架，作者发现人类与LLM响应之间存在显著重叠——尤其是当LLM被提示模拟对话时——但也存在系统性差异，体现在攻击性、行动选择以及对输入指令的敏感度方面，凸显了在缺乏人类监督的情况下，依赖LLM进行高风险战略建议所存在的风险。

ABSTRACT

To some, the advent of artificial intelligence (AI) promises better decision-making and increased military effectiveness while reducing the influence of human error and emotions. However, there is still debate about how AI systems, especially large language models (LLMs) that can be applied to many tasks, behave compared to humans in high-stakes military decision-making scenarios with the potential for increased risks towards escalation. To test this potential and scrutinize the use of LLMs for such purposes, we use a new wargame experiment with 214 national security experts designed to examine crisis escalation in a fictional U.S.-China scenario and compare the behavior of human player teams to LLM-simulated team responses in separate simulations. Here, we find that the LLM-simulated responses can be more aggressive and significantly affected by changes in the scenario. We show a considerable high-level agreement in the LLM and human responses and significant quantitative and qualitative differences in individual actions and strategic tendencies. These differences depend on intrinsic biases in LLMs regarding the appropriate level of violence following strategic instructions, the choice of LLM, and whether the LLMs are tasked to decide for a team of players directly or first to simulate dialog between a team of players. When simulating the dialog, the discussions lack quality and maintain a farcical harmony. The LLM simulations cannot account for human player characteristics, showing no significant difference even for extreme traits, such as "pacifist" or "aggressive sociopath." When probing behavioral consistency across individual moves of the simulation, the tested LLMs deviated from each other but generally showed somewhat consistent behavior. Our results motivate policymakers to be cautious before granting autonomy or following AI-based strategy recommendations.

研究动机与目标

• 评估LLM模拟响应在多大程度上与专家人类玩家在高风险美中危机推演中的表现相吻合。
• 研究LLM提示方式（例如，对话模拟与直接行动选择）的变化如何影响战略行为与结果可预测性。
• 评估LLM在多大程度上能够准确复现人类的心理与战略偏好，包括背景属性和个人偏见。
• 识别在危机升级情景中，LLM与人类行为之间的系统性偏差，特别是攻击性与交战规则方面。
• 为政策制定者提供参考，警示在未经严格验证的情况下，将LLM用于自主军事决策可能带来的风险。

提出的方法

• 开展了一场包含两回合的推演，由107名国家安全专家参与，模拟2026年虚构的美中台海危机中美国国家安全部的决策过程。
• 使用LLM（包括GPT-4）在两种提示条件下模拟响应：(1) 模拟玩家之间的角色扮演对话，(2) 直接指示列出每个玩家角色的行动。
• 收集并比较21种可能行动的响应向量，采用线性判别分析可视化人类与LLM响应在分布上的相似性。
• 分析人类与LLM生成响应在推理过程、升级倾向及战略框架上的定性差异。
• 评估LLM输入指令对行为结果的影响，特别是在攻击性与行动数量方面的表现。
• 评估LLM无法考虑玩家特定属性（如背景、个人偏好或机构角色）的能力，导致建议缺乏针对性且上下文不敏感。

实验结果

研究问题

• RQ1 LLM模拟响应在美中危机推演中，与专家人类响应在数量和定性上相比如何？
• RQ2 提示格式（对话模拟与直接行动选择）在多大程度上影响LLM行为与战略结果？
• RQ3 LLM能否准确复现人类心理与战略偏好，包括基于背景的决策行为？
• RQ4 人类与LLM玩家在升级倾向方面存在哪些系统性差异，特别是在交战规则方面？
• RQ5 LLM架构与指令设计的变化如何影响AI生成战略建议的可靠性与安全性？

主要发现

• LLM模拟响应与人类响应存在显著重叠，在推演的21种可能行动中，约有一半行动的选择达成一致。
• 当被提示模拟玩家之间的对话时，LLM响应缺乏有意义的互动，未能体现动态谈判或战略适应过程。
• 与对话模拟提示相比，当被直接指示列出行动时，LLM响应表现出更高的攻击性并选择了更多行动。
• LLM完全无法考虑玩家的背景属性、个人偏好或机构角色，导致建议通用化且缺乏上下文敏感性。
• 不同LLM在攻击性水平与决策模式上表现不一，表明其对模型选择与提示设计高度敏感。
• 尽管在行动选择上表面相似，但推理过程与升级框架的定性差异表明，LLM可能在高风险情境中歪曲人类的战略意图。