[论文解读] GTBench: Uncovering the Strategic Reasoning Limitations of LLMs via Game-Theoretic Evaluations

Jinhao Duan, Renming Zhang+7 more|arXiv (Cornell University)|Feb 19, 2024

Auction Theory and ApplicationsDecision Sciences被引用 3

一句话总结

GTBench 引入了一个全面的游戏理论基准，用于在涵盖完全/不完全信息、确定性/概率性以及静态/动态游戏的10种不同任务中评估大型语言模型（LLMs）。结果表明，LLMs 在如 Nim 和井字棋等完全且确定性的游戏中表现失败，但在如 Kuhn Poker 等具有概率性或不完全信息的设置中仍具竞争力，其中代码预训练可提升性能，而高级推理技术如思维链（Chain-of-Thought）并不总是有效。

ABSTRACT

As Large Language Models (LLMs) are integrated into critical real-world applications, their strategic and logical reasoning abilities are increasingly crucial. This paper evaluates LLMs' reasoning abilities in competitive environments through game-theoretic tasks, e.g., board and card games that require pure logic and strategic reasoning to compete with opponents. We first propose GTBench, a language-driven environment composing 10 widely recognized tasks, across a comprehensive game taxonomy: complete versus incomplete information, dynamic versus static, and probabilistic versus deterministic scenarios. Then, we (1) Characterize the game-theoretic reasoning of LLMs; and (2) Perform LLM-vs.-LLM competitions as reasoning evaluation. We observe that (1) LLMs have distinct behaviors regarding various gaming scenarios; for example, LLMs fail in complete and deterministic games yet they are competitive in probabilistic gaming scenarios; (2) Most open-source LLMs, e.g., CodeLlama-34b-Instruct and Llama-2-70b-chat, are less competitive than commercial LLMs, e.g., GPT-4, in complex games, yet the recently released Llama-3-70b-Instruct makes up for this shortcoming. In addition, code-pretraining greatly benefits strategic reasoning, while advanced reasoning methods such as Chain-of-Thought (CoT) and Tree-of-Thought (ToT) do not always help. We further characterize the game-theoretic properties of LLMs, such as equilibrium and Pareto Efficiency in repeated games. Detailed error profiles are provided for a better understanding of LLMs' behavior. We hope our research provides standardized protocols and serves as a foundation to spur further explorations in the strategic reasoning of LLMs.

研究动机与目标

• 解决当前缺乏针对 LLM 推理的严谨、以逻辑为导向的评估环境的问题，尤其是在叙事性角色扮演游戏之外的场景。
• 刻画 LLM 在多样化游戏理论情境下的表现，尤其关注其战略与逻辑推理能力。
• 建立 LLM 之间的对战机制，作为评估竞争性、交互式环境中推理能力的新基准。
• 识别影响 LLM 在策略游戏中表现的关键因素，如模型类型、预训练方式及推理技术。

提出的方法

• 设计 GTBench，一个基于语言的环境，包含10种广泛认可的游戏理论任务，覆盖游戏类型的综合分类体系。
• 从维度上对游戏进行分类：完全信息 vs. 不完全信息，确定性 vs. 概率性，静态 vs. 动态。
• 开展两种评估配置：LLM-vs-传统方法（如 MCTS 求解器）和 LLM-vs-LLM 对抗赛，以评估竞争环境下的推理能力。
• 使用后悔值（regret value）指标，对盲拍拍卖和重复囚徒困境等游戏中的决策质量进行定量评估。
• 通过详细的错误分析图谱诊断 LLM 在理解、计算和过度自信方面的失败模式。
• 采用代码预训练以及 Chain-of-Thought 和 Tree-of-Thought 等推理技术，评估其对战略表现的影响。

实验结果

研究问题

• RQ1 LLMs 在不同游戏理论情境下的表现如何，特别是在完全信息与不完全信息、确定性与概率性游戏之间？
• RQ2 像 Chain-of-Thought 和 Tree-of-Thought 这类高级推理方法在多大程度上能提升 LLM 在策略游戏中的表现？
• RQ3 与标准 LLM 相比，代码预训练在多大程度上提升了 LLM 的战略推理能力？
• RQ4 在竞争性、基于规则的策略环境中，开源 LLM 与商业 LLM（如 GPT-4）相比表现如何？
• RQ5 LLM 在游戏理论任务中的主要错误模式是什么？它们如何影响决策质量？

主要发现

• LLMs 在如 Nim 和井字棋等完全且确定性游戏中持续被 MCTS 求解器击败，表明其在纯粹逻辑推理方面存在根本性局限。
• LLMs 在不完全信息和概率性游戏中（如 Kuhn Poker 和谈判游戏）仍具竞争力，表明其对不确定性的适应能力优于对确定性逻辑的处理能力。
• 经过代码预训练的 LLM（如 CodeLlama-34b-Instruct）表现可与 GPT-3.5-turbo 相媲美，证明代码预训练能有效增强战略推理能力。
• 高级推理技术（如 Chain-of-Thought 和 Tree-of-Thought）并未始终提升性能，甚至在某些情况下导致性能下降。
• 在动作空间或状态空间较大的复杂游戏中，开源 LLM 表现不如 GPT-4 等商业模型，但在动作选项有限的简单游戏中表现相当。
• 常见错误模式包括事实性错误（如错误判断游戏状态）、计算错误（如在 Nim 游戏中错误计算 XOR）、对棋盘位置的误解，以及对对手合作的过度自信。