[논문 리뷰] CompeteAI: Understanding the Competition Dynamics in Large Language Model-based Agents

Qinlin Zhao, Jindong Wang외 5명|arXiv (Cornell University)|2023. 10. 26.

FinTech, Crowdfunding, Digital Finance인용 수 7

한 줄 요약

이 논문은 가상의 마을 환경에서 레스토랑 및 고객 에이전트를 포함하는 시뮬레이션을 통해 LLM 기반 에이전트의 경쟁 역학을 연구하기 위한 프레임워크인 CompeteAI를 소개한다. GPT-4를 사용하여 경쟁 환경이 전략적 적응, 사회적 학습, 서비스 향상으로 이어짐을 입증하였으며, 이는 사회학적 및 경제학적 이론과 일치한다. 이는 LLM 기반 에이전트가 실제 경쟁 시스템을 시뮬레이션하는 데 잠재력을 지닌다는 것을 시사한다.

ABSTRACT

Large language models (LLMs) have been widely used as agents to complete different tasks, such as personal assistance or event planning. While most of the work has focused on cooperation and collaboration between agents, little work explores competition, another important mechanism that promotes the development of society and economy. In this paper, we seek to examine the competition dynamics in LLM-based agents. We first propose a general framework for studying the competition between agents. Then, we implement a practical competitive environment using GPT-4 to simulate a virtual town with two types of agents, restaurant agents and customer agents. Specifically, the restaurant agents compete with each other to attract more customers, where competition encourages them to transform, such as cultivating new operating strategies. Simulation experiments reveal several interesting findings at the micro and macro levels, which align well with existing market and sociological theories. We hope that the framework and environment can be a promising testbed to study competition that fosters understanding of society. Code is available at: https://github.com/microsoft/competeai.

연구 동기 및 목표

• LLM 기반 에이전트 간의 경쟁 행동을 이해하는 데 있어 연구 격차를 보완하는 것. 이는 협력 행동에 비해 아직 다루어지지 않은 분야이다.
• LLM 기반 에이전트 시스템에서 경쟁을 연구하기 위한 일반화 가능한 프레임워크를 개발하는 것.
• 다양한 선호도를 가진 고객을 대상으로 경쟁하는 레스토랑 에이전트를 포함한 GPT-4 기반 실재성 있는 경쟁 환경을 시뮬레이션하는 것.
• 경쟁이 자율적 에이전트의 전략적 적응, 모방, 혁신을 어떻게 이끌어내는지 연구하는 것.
• 사회학적 및 경제학적 이론, 예를 들어 사회적 학습 이론과 시장 경쟁 이론과의 일치 여부를 검증하는 것.

제안 방법

• LLM 기반 에이전트의 경쟁 역학을 체계적으로 연구하기 위한 일반 프레임워크인 CompeteAI를 제안한다.
• 레스토랑 에이전트(운영을 관리함)와 고객 에이전트(경험을 평가함)의 두 가지 유형의 에이전트를 포함하는 가상의 마을 환경을 설계한다.
• 자연어 추론과 의사결정을 가능하게 하는 텍스트 기반 시뮬레이션에서 GPT-4를 사용해 에이전트를 구현한다.
• 실제 세계의 다양성을 반영하기 위해 고객 에이전트에 이질적인 특성(소득, 취향, 건강 상태, 식이 제한 사항)을 부여한다.
• 레스토랑 에이전트가 전략적 개선을 통해 고객을 유치하고 유지를 추구함으로써 경쟁을 정의한다.
• 반복적 상호작용과 피드백 루프를 사용하여 모방, 차별화, 서비스 최적화와 같은 잠재적 행동을 관찰한다.

Figure 1: (A) We construct an environment for agents that fosters competitive behaviors, aligning with established sociological and economic theories. (B) We implement LLM-based restaurant agents and customer agents in a competitive environment.

실험 결과

연구 질문

• RQ1 LLM 기반 에이전트는 구조화된 시뮬레이션에서 경쟁 환경을 어떻게 인식하고 반응하는가?
• RQ2 경쟁하는 에이전트가 모방과 차별화와 같은 사회적 학습 행동을 얼마나 많이 보이는가?
• RQ3 시장 경쟁은 LLM 기반 에이전트 시스템에서 서비스 품질과 고객 만족도에 어떤 영향을 미치는가?
• RQ4 지속적인 경쟁 압력 아래에서 레스토랑 에이전트는 어떤 전략적 적응을 보이는가?
• RQ5 관찰된 행동들이 기존의 사회학적 및 경제학적 경쟁 이론과 어느 정도 일치하는가?

주요 결과

• LLM 기반 에이전트는 시뮬레이션 환경에서 경쟁 역학을 정확히 인식하고 반응함으로써 맥락 기반 전문성을 보여준다.
• 경쟁하는 에이전트는 상호 모방을 하면서 동시에 전략을 차별화함으로써 사회적 학습 이론과 일치한다.
• 경쟁은 서비스 품질 향상과 고객 중심 전략 개발에 측정 가능한 영향을 미치며, 이는 시장 경쟁 이론과 일치한다.
• 지속적인 경쟁 압력 아래에서 에이전트는 메뉴 혁신과 타겟팅 광고와 같은 새로운 운영 전략을 발전시킨다.
• 시뮬레이션은 선도 에이전트가 비례를 초월한 우위를 얻는 매튜 효과를 드러내며, 현실 세계의 경쟁 역학을 반영한다.
• 상위 성능을 보이는 에이전트들 사이에서 가격 일관성이 관찰되어 경쟁 환경에서 가격 행동의 전략적 이성성을 시사한다.

Figure 2: A general framework for studying the competition between AI agents. Our framework consists of four main components: environment selection, environment setup, simulation execution, and analysis. Environment setup is the key component, where competitors and judges interact with each other an