[論文レビュー] Put Your Money Where Your Mouth Is: Evaluating Strategic Planning and Execution of LLM Agents in an Auction Arena

Jiangjie Chen, Siyu Yuan+3 more|arXiv (Cornell University)|Oct 9, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、動的で競争的なオークション環境においてLLMエージェントの戦略的計画および実行能力を評価するためのシミュレーション環境であるAucArenaを紹介する。プロンプトベースのアーキテクチャを用いることで、LLMは適応的な入札行動を示すが、性能には顕著な差が見られ、GPT-4ですら、時折、ヒューリスティクスや人間エージェントに劣ることもあり、エージェント設計の改善が求められることを示している。

ABSTRACT

Recent advancements in Large Language Models (LLMs) showcase advanced reasoning, yet NLP evaluations often depend on static benchmarks. Evaluating this necessitates environments that test strategic reasoning in dynamic, competitive scenarios requiring long-term planning. We introduce AucArena, a novel evaluation suite that simulates auctions, a setting chosen for being highly unpredictable and involving many skills related to resource and risk management, while also being easy to evaluate. We conduct controlled experiments using state-of-the-art LLMs to power bidding agents to benchmark their planning and execution skills. Our research demonstrates that LLMs, such as GPT-4, possess key skills for auction participation, such as budget management and goal adherence, which improve with adaptive strategies. This highlights LLMs' potential in modeling complex social interactions in competitive contexts. However, variability in LLM performance and occasional outperformance by simpler methods indicate opportunities for further advancements in LLM design and the value of our simulation environment for ongoing testing and refinement.

研究の動機と目的

• LLMエージェントが予算が限られた動的で競争的な環境において、戦略的推論と適応的行動を示せるかどうかを評価すること。
• 細かく制御可能で定量的な評価が可能なシミュレーション環境を設計し、LLMエージェントの能力を精細に評価すること。
• プロンプトと過去のオークション戦略の観察が、LLMエージェントの長期的計画およびリソース管理におけるパフォーマンスに与える影響を調査すること。
• 多数のラウンドにわたるオークションシナリオにおいて、LLMエージェントをヒューリスティックベースラインおよび人間エージェントと比較すること。

提案手法

• AucArenaは、固定された予算と全参加者に等しい情報が与えられる、オープンで徐々に価格が上昇するオークションのシミュレーション環境である。
• LLMエージェントは、計画、入札、信念の更新、再計画という4段階のアーキテクチャに従い、すべてが構造化されたプロンプトによって実装される。
• エージェントは、リアルタイムのオークション状態、競合他者の追跡、長期的目標との整合性に基づいて、LLMを用いて入札を生成する。
• 戦略的プロンプトには、過去の行動を観察し、競争に適応し、予算を段階的に管理するよう明示的な指示が含まれる。
• パフォーマンスは、合計利益や入札効率といった定量的指標を用いて測定される。
• 環境は、GPT-4、Claude-2、PaLM-2など多様なLLM（例：GPT-4, Claude-2, PaLM-2）と人間参加者を含む、制御された実験を可能にする。

実験結果

リサーチクエスチョン

• RQ1 LLMエージェントは、予算が限られた動的で多数のラウンドにわたるオークションにおいて、効果的に計画を立て、入札戦略を適応的に変更できるか？
• RQ2 過去のオークション行動を観察することで、LLMエージェントの戦略的パフォーマンスはどの程度向上するか？
• RQ3 長期的なオークション競争において、LLMエージェントはヒューリスティックベースラインや人間エージェントをどの程度上回るか？
• RQ4 予測不可能な環境において、適応的計画が優れた成果を達成する上で果たす役割は何か？
• RQ5 LLMエージェントは、人間がこれまでに知らなかった新たなまたは効果的な入札戦略を発見できるか？

主な発見

• 戦略的指示を含むプロンプトを用いることで、LLMエージェントは効果的な予算管理、長期的目標への従順性、適応的入札行動を示す。
• 過去のオークション戦略を観察し、それに適応するよう明示的に促すことで、LLMエージェントのパフォーマンスが顕著に向上する。
• 最先端のLLMであるGPT-4ですら、長期的な戦略的整合性において、単純なヒューリスティックベースラインや人間エージェントに時折劣ることがある。
• LLM間でのパフォーマンスに顕著な差が見られ、類似したプロンプトでも戦略的推論能力に顕著な差が存在することが示唆される。
• マルチエージェントのシナリオでは、競合状況や価値推定に応じて、異なるエージェントが異なる戦略を採用するというニッチの分離が観察される。
• AucArenaは、時間的タイミングを考慮した入札や、小さな段階的入札を用いて効率的にアイテムを獲得する戦略といった、新たな戦略的ダイナミクスの発見を可能にする。