[论文解读] How Far Are We on the Decision-Making of LLMs? Evaluating LLMs' Gaming Ability in Multi-Agent Environments

Jen-tse Huang, Eric John Li+8 more|arXiv (Cornell University)|Mar 18, 2024

Franchising Strategies and Performance被引用 8

一句话总结

论文提出 γ-Bench，这是一个多玩家、多轮次的评估框架，使用八种经典博弈来评估 LLM 的决策、鲁棒性、泛化能力以及跨若干模型的改进策略。

ABSTRACT

Decision-making is a complex process requiring diverse abilities, making it an excellent framework for evaluating Large Language Models (LLMs). Researchers have examined LLMs' decision-making through the lens of Game Theory. However, existing evaluation mainly focus on two-player scenarios where an LLM competes against another. Additionally, previous benchmarks suffer from test set leakage due to their static design. We introduce GAMA($γ$)-Bench, a new framework for evaluating LLMs' Gaming Ability in Multi-Agent environments. It includes eight classical game theory scenarios and a dynamic scoring scheme specially designed to quantitatively assess LLMs' performance. $γ$-Bench allows flexible game settings and adapts the scoring system to different game parameters, enabling comprehensive evaluation of robustness, generalizability, and strategies for improvement. Our results indicate that GPT-3.5 demonstrates strong robustness but limited generalizability, which can be enhanced using methods like Chain-of-Thought. We also evaluate 13 LLMs from 6 model families, including GPT-3.5, GPT-4, Gemini, LLaMA-3.1, Mixtral, and Qwen-2. Gemini-1.5-Pro outperforms others, scoring of $69.8$ out of $100$, followed by LLaMA-3.1-70B ($65.9$) and Mixtral-8x22B ($62.4$). Our code and experimental results are publicly available at https://github.com/CUHK-ARISE/GAMABench.

研究动机与目标

• 使用博弈论在多智能体环境中评估 LLMs 的决策能力。
• 量化 LLM 在多玩家博弈中的鲁棒性、泛化性与改进策略。
• 提供公开可得的基准与对多个模型（GPT-3.5、GPT-4、Gemini Pro）分析。

提出的方法

• 定义一个 γ-Bench 框架，将八类经典多智能体博弈归类为合作、背叛与序贯博弈。
• 实现评分方案，以量化每个博弈的表现（逐局分数与聚合分数）。
• 在多智能体、 多轮次设置中评估 LLM 与人类，并进行鲁棒性测试（重新开始、温度、提示）。
• 研究思维链提示和指令性提示对决策表现的影响。
• 比较多种 LLM（GPT-3.5 变种、GPT-4、Gemini Pro）并报告排行榜式结果。

实验结果

研究问题

• RQ1 LLMs 在合作、背叛与序贯多智能体博弈中的表现相较于纳什均衡与社会福利如何？
• RQ2 在多次运行、不同温度和提示模板下，LLM 决策的鲁棒性如何？
• RQ3 推理增强（如思维链）或激励机制是否能提升此类博弈环境中的决策？
• RQ4 LLMs 在不同博弈设定与轮次上的泛化能力如何，不同模型在 γ-Bench 的排名如何？

主要发现

• GPT-4 通常在 γ-Bench 上领先于其他模型，排行榜分数为 72.5。
• GPT-3.5（0613、1106、0125）在迭代中显示出认知能力提升，但泛化能力仍有限。
• 合作博弈在 LLMs 中呈现自发性合作的潜力，无需显式沟通。
• 表现因博弈类型而异；大多数博弈的鲁棒性较高，但在某些序贯博弈中较低。
• 思维链提示在某些任务中可提升表现，尤其在 Guess 2/3 of the Average 中表现突出。