[论文解读] CompeteAI: Understanding the Competition Dynamics in Large Language Model-based Agents

Qinlin Zhao, Jindong Wang+5 more|arXiv (Cornell University)|Oct 26, 2023

FinTech, Crowdfunding, Digital Finance被引用 7

一句话总结

本文提出了CompeteAI，一个通过模拟虚拟城镇中的餐厅与顾客代理来研究基于大语言模型（LLM）的代理竞争动态的框架。利用GPT-4，研究发现竞争环境能驱动策略适应、社会学习以及服务质量的提升——这与社会学和经济学理论相一致，凸显了LLM代理在模拟现实世界竞争系统方面的潜力。

ABSTRACT

Large language models (LLMs) have been widely used as agents to complete different tasks, such as personal assistance or event planning. While most of the work has focused on cooperation and collaboration between agents, little work explores competition, another important mechanism that promotes the development of society and economy. In this paper, we seek to examine the competition dynamics in LLM-based agents. We first propose a general framework for studying the competition between agents. Then, we implement a practical competitive environment using GPT-4 to simulate a virtual town with two types of agents, restaurant agents and customer agents. Specifically, the restaurant agents compete with each other to attract more customers, where competition encourages them to transform, such as cultivating new operating strategies. Simulation experiments reveal several interesting findings at the micro and macro levels, which align well with existing market and sociological theories. We hope that the framework and environment can be a promising testbed to study competition that fosters understanding of society. Code is available at: https://github.com/microsoft/competeai.

研究动机与目标

• 为填补当前对基于大语言模型的代理之间竞争行为理解的空白，因为与合作行为相比，这些行为尚未得到充分研究。
• 开发一个可推广的框架，用于研究基于大语言模型的代理系统中的竞争行为。
• 使用GPT-4模拟一个真实的竞争环境，其中餐厅代理在面对具有多样化偏好的顾客时展开竞争。
• 探究竞争如何推动自主代理在策略适应、模仿与创新方面的演化。
• 将研究发现与社会学习理论及市场竞争力理论等既有的社会学与经济学理论进行验证。

提出的方法

• 提出一个通用框架CompeteAI，以系统性地研究基于大语言模型的代理中的竞争动态。
• 设计一个虚拟城镇环境，包含两类代理：餐厅代理（负责运营管理）和顾客代理（负责评估体验）。
• 使用GPT-4实现代理，使其能够在基于文本的模拟中进行自然语言推理与决策。
• 赋予顾客代理异质性特征（如收入水平、口味偏好、健康状况、饮食限制），以反映现实世界中的多样性。
• 将竞争定义为餐厅代理通过战略性改进来吸引并留住顾客的机制。
• 通过迭代交互与反馈回路，观察涌现行为，如模仿、差异化与服务优化。

Figure 1: (A) We construct an environment for agents that fosters competitive behaviors, aligning with established sociological and economic theories. (B) We implement LLM-based restaurant agents and customer agents in a competitive environment.

实验结果

研究问题

• RQ1 基于大语言模型的代理在结构化模拟环境中如何感知并响应竞争环境？
• RQ2 竞争代理在多大程度上表现出社会学习行为，如模仿与差异化？
• RQ3 市场竞争力在多大程度上影响基于大语言模型的代理系统中的服务质量和顾客满意度？
• RQ4 在持续的竞争压力下，餐厅代理会演化出何种战略适应？
• RQ5 所观察到的行为在多大程度上与既有的社会学与经济学竞争理论相一致？

主要发现

• 基于大语言模型的代理通过准确感知并响应模拟环境中的竞争动态，展现出情境化能力。
• 竞争代理在相互模仿的同时，也持续对策略进行差异化，这与社会学习理论一致。
• 竞争推动了服务质量和以客户为中心的策略发展的可测量提升，与市场竞争力理论相吻合。
• 在持续的竞争压力下，代理演化出新型运营策略，如菜单创新与定向促销。
• 模拟揭示了马太效应，领先代理获得了不成比例的优势，反映了现实世界中的竞争动态。
• 表现优异的代理之间表现出价格一致性，表明在竞争环境下定价行为具有战略理性。

Figure 2: A general framework for studying the competition between AI agents. Our framework consists of four main components: environment selection, environment setup, simulation execution, and analysis. Environment setup is the key component, where competitors and judges interact with each other an