[논문 리뷰] Put Your Money Where Your Mouth Is: Evaluating Strategic Planning and Execution of LLM Agents in an Auction Arena

Jiangjie Chen, Siyu Yuan외 3명|arXiv (Cornell University)|2023. 10. 09.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 동적이고 경쟁적인 경매 환경에서 LLM 에이전트의 전략적 계획 수립 및 실행 능력을 평가하기 위한 시뮬레이션 환경인 AucArena를 소개한다. 프롬프팅 기반 아키텍처를 사용하여 LLM은 적응형 입찰 행동을 보여주지만, 성능은 상당한 차이를 보이며, 심지어 GPT-4조차도 때로는 히우리스틱 및 인간 에이전트에 뒤지기도 하여, 보다 향상된 에이전트 설계의 필요성을 드러낸다.

ABSTRACT

Recent advancements in Large Language Models (LLMs) showcase advanced reasoning, yet NLP evaluations often depend on static benchmarks. Evaluating this necessitates environments that test strategic reasoning in dynamic, competitive scenarios requiring long-term planning. We introduce AucArena, a novel evaluation suite that simulates auctions, a setting chosen for being highly unpredictable and involving many skills related to resource and risk management, while also being easy to evaluate. We conduct controlled experiments using state-of-the-art LLMs to power bidding agents to benchmark their planning and execution skills. Our research demonstrates that LLMs, such as GPT-4, possess key skills for auction participation, such as budget management and goal adherence, which improve with adaptive strategies. This highlights LLMs' potential in modeling complex social interactions in competitive contexts. However, variability in LLM performance and occasional outperformance by simpler methods indicate opportunities for further advancements in LLM design and the value of our simulation environment for ongoing testing and refinement.

연구 동기 및 목표

• LLM 에이전트가 제한된 예산과 동적이고 경쟁적인 환경에서 전략적 사고와 적응 행동을 보일 수 있는지 평가하는 것.
• 세밀한 평가가 가능한 제어 가능하고 정량화 가능한 시뮬레이션 환경을 설계하는 것.
• 프롬프팅 및 과거 입찰 전략 관찰이 LLM 에이전트의 장기적 계획 수립 및 자원 관리 능력 향상에 미치는 영향을 조사하는 것.
• 다중 라운드 경매 시나리오에서 LLM 에이전트를 히우리스틱 기반 기준 및 인간 에이전트와 비교하는 것.

제안 방법

• AucArena는 모든 입찰자에게 동일한 정보와 고정된 예산을 가진 개방형 순차적 가격 경매 시뮬레이션 환경이다.
• LLM 에이전트는 계획, 입찰, 신념 갱신, 재계획 단계로 구성된 네 단계 아키텍처를 따르며, 모두 구조화된 프롬프팅을 통해 구현된다.
• 에이전트는 실시간 경매 상태, 경쟁자 추적 및 장기적 목표 일치를 바탕으로 LLM을 사용해 입찰를 생성한다.
• 전략적 프롬프팅에는 과거 행동을 관찰하고 경쟁에 적응하며 예산을 점진적으로 관리하도록 명시적인 지시가 포함된다.
• 성능은 총 수익 및 입찰 효율성과 같은 정량적 지표를 사용해 측정된다.
• 환경은 다양한 LLM(예: GPT-4, Claude-2, PaLM-2)과 인간 참가자를 포함한 제어된 실험을 지원한다.

실험 결과

연구 질문

• RQ1 LLM 에이전트는 제한된 예산이 있는 동적이고 다중 라운드 경매에서 효과적으로 입찰 전략을 계획하고 적응할 수 있는가?
• RQ2 과거 경매 행동을 관찰하는 것은 LLM 에이전트의 전략적 성능을 어떻게 향상시키는가?
• RQ3 장기적인 경매 경쟁에서 LLM 에이전트는 히우리스틱 기반 기준 및 인간 에이전트를 어느 정도 능가하는가?
• RQ4 변동성이 크고 예측 불가능한 환경에서 뛰어난 성과를 달성하기 위해 적응형 계획 수립이 어떤 역할을 하는가?
• RQ5 LLM 에이전트는 인간이 이전에 알지 못했던 새로운 또는 효과적인 입찰 전략을 발견할 수 있는가?

주요 결과

• 전략적 지시를 포함한 프롬프팅을 받은 LLM 에이전트는 효과적인 예산 관리, 장기적 목표 이행 및 적응형 입찰 행동을 보여준다.
• 과거 경매 전략을 관찰하고 이를 적응하도록 장려하는 지시가 LLM 에이전트의 성능 향상에 상당한 영향을 미친다.
• 최첨단 LLM인 GPT-4조차도 장기적 전략적 일치 측면에서 때로는 단순한 히우리스틱 기반 기준 및 인간 에이전트에 뒤지기도 한다.
• LLM 간 성능 격차가 상당히 크며, 유사한 프롬프팅에도 불구하고 전략적 사고 능력에 큰 차이가 있음을 시사한다.
• 다중 에이전트 시나리오에서 에이전트 간 전략적 분리 현상이 드러나며, 경쟁 상황과 가치 평가에 따라 서로 다른 전략을 채택하는 경향이 있다.
• AucArena는 입찰 시점을 최적화해 영향을 미치거나, 작은 점진적 입찰을 통해 효율적으로 물건을 확보하는 등의 새로운 전략적 역학을 발견하는 데 기여한다.