[论文解读] How Well Can LLMs Negotiate? NegotiationArena Platform and Analysis

Federico Bianchi, Patrick John Chia+4 more|arXiv (Cornell University)|Feb 8, 2024

Corporate Governance and Law被引用 4

一句话总结

本文介绍了 NegotiationArena，一个用于评估和探究大语言模型（LLM）代理在多轮谈判场景中的开源平台。结果表明，像 GPT-4 这类 LLM 能够通过战略性行为（如假装绝望）显著提升收益，同时也表现出非理性的偏见，例如锚定效应和数量效应。

ABSTRACT

Negotiation is the basis of social interactions; humans negotiate everything from the price of cars to how to share common resources. With rapidly growing interest in using large language models (LLMs) to act as agents on behalf of human users, such LLM agents would also need to be able to negotiate. In this paper, we study how well LLMs can negotiate with each other. We develop NegotiationArena: a flexible framework for evaluating and probing the negotiation abilities of LLM agents. We implemented three types of scenarios in NegotiationArena to assess LLM's behaviors in allocating shared resources (ultimatum games), aggregate resources (trading games) and buy/sell goods (price negotiations). Each scenario allows for multiple turns of flexible dialogues between LLM agents to allow for more complex negotiations. Interestingly, LLM agents can significantly boost their negotiation outcomes by employing certain behavioral tactics. For example, by pretending to be desolate and desperate, LLMs can improve their payoffs by 20\% when negotiating against the standard GPT-4. We also quantify irrational negotiation behaviors exhibited by the LLM agents, many of which also appear in humans. Together, \NegotiationArena offers a new environment to investigate LLM interactions, enabling new insights into LLM's theory of mind, irrationality, and reasoning abilities.

研究动机与目标

• 开发一个灵活的开源框架，用于评估大语言模型代理在动态、多轮谈判环境中的表现。
• 研究 LLM 在涉及资源分配、交易和价格谈判的真实谈判场景中的行为表现。
• 识别影响 LLM 代理间谈判结果的战略性、社会性及非理性行为。
• 量化特定行为策略（如假装绝望）对谈判成功的影响。
• 评估最先进 LLM 在竞争性、交互式环境中的理性程度与心智理论能力。

提出的方法

• 设计并实现一个模块化平台 NegotiationArena，支持三种核心谈判场景：资源交换、多轮最后通牒游戏和价格谈判。
• 为每种场景设定明确的初始资源、目标、回合限制和接受条件，以实现可控且可重复的实验。
• 通过灵活的回合制对话交互，将 LLM 代理（GPT-4、GPT-3.5、Claude 2.1、Claude 2）集成到谈判流程中。
• 收集并分析谈判轨迹，包括提议序列、接受/拒绝模式以及最终收益。
• 使用定量指标（如最终收益占比和胜率）衡量不同策略和资源水平下的表现。
• 开展消融研究，评估特定行为（如情感诉求或侮辱）对谈判结果的影响。

实验结果

研究问题

• RQ1 与静态基准任务相比，LLM 代理在多轮、动态谈判场景中的表现如何？
• RQ2 哪些战略性行为（如假装绝望或攻击性）能提升 LLM 代理在谈判中的收益？
• RQ3 LLM 代理在谈判环境中在多大程度上表现出非理性行为，如锚定偏见或数量偏见？
• RQ4 在最后通牒式谈判中，分配资源的绝对金额如何影响公平性和提议的接受度？
• RQ5 不同 LLM（如 GPT-4 与 Claude 2.1）在谈判表现和行为模式上如何比较？

主要发现

• GPT-4 在所有场景中均持续优于其他 LLM，在谈判结果上表现出更优越的战略推理与沟通能力。
• 在与标准 GPT-4 对抗时，假装绝望或绝望状态可使 LLM 的收益提高最多 20%。
• LLM 代理表现出锚定偏见，即初始提议对最终结果产生不成比例的影响，即使这种影响是非理性的。
• 随着可分配资源总量的增加（例如从 100 美元增至 100 亿美元），提议者的份额显著上升——在 1000 亿美元时达到近 79%，表明存在数量偏见。
• 当绝对金额较大时，代理常接受不公平的提议，这与经典最后通牒游戏中观察到的人类非理性行为一致。
• 所有测试的 LLM 均对社会操纵策略（如侮辱或情感诉求）表现出脆弱性，这些策略可被利用以改善谈判结果。