[論文レビュー] STRIDE: A Tool-Assisted LLM Agent Framework for Strategic and Interactive Decision-Making

Chuanhao Li, Runhan Yang+5 more|arXiv (Cornell University)|May 25, 2024

Multi-Agent Systems and Negotiation被引用数 4

ひとこと要約

この論文では、構造的推論、記憶、専用ツールを統合することで、交渉やゲーム理論のような複雑な環境における戦略的かつ相互作用的な意思決定を強化する、ツール拡張型LLMエージェントフレームワークであるSTRIDEを紹介する。Minimaxとアルファベータ pruningを組み合わせたアルゴリズムを統合し、LLMがマルチステップ計画を調整することで、Tic-Tac-Toe や Connect-N といったゲームにおいて、ゼロショット・チェーン・オブ・スケッチモデルと比較して90%の勝率を達成し、ベースラインLLMを著しく上回る性能を発揮する。

ABSTRACT

Large Language Models (LLMs) like GPT-4 have revolutionized natural language processing, showing remarkable linguistic proficiency and reasoning capabilities. However, their application in strategic multi-agent decision-making environments is hampered by significant limitations including poor mathematical reasoning, difficulty in following instructions, and a tendency to generate incorrect information. These deficiencies hinder their performance in strategic and interactive tasks that demand adherence to nuanced game rules, long-term planning, exploration in unknown environments, and anticipation of opponents' moves. To overcome these obstacles, this paper presents a novel LLM agent framework equipped with memory and specialized tools to enhance their strategic decision-making capabilities. We deploy the tools in a number of economically important environments, in particular bilateral bargaining and multi-agent and dynamic mechanism design. We employ quantitative metrics to assess the framework's performance in various strategic decision-making problems. Our findings establish that our enhanced framework significantly improves the strategic decision-making capability of LLMs. While we highlight the inherent limitations of current LLM models, we demonstrate the improvements through targeted enhancements, suggesting a promising direction for future developments in LLM applications for interactive environments.

研究の動機と目的

• ゲーム理論やメカニズム設計のような、戦略的・相互作用的・長期間にわたる意思決定タスクにおけるLLMの限界を解決すること。
• 外部ツールと記憶を統合することで、数学的推論、指示従い、幻覚現象の問題を克服すること。
• 後退帰納法とアルゴリズムシミュレーションを用いた構造的でマルチステップの推論を可能にするフレームワークの開発。
• 二重交渉、動的メカニズム設計、逐次ゲームを含む経済的に関連する分野におけるフレームワークの評価。
• 標準的なプロンプト処理が失敗する戦略的環境において、ツール拡張型LLMエージェントが準最適な性能を達成できることの実証。

提案手法

• STRIDEは、計画、ツール利用、自己反省を含む構造的思考シーケンスを調整するコントローラーLLMを用い、マルチステップ推論を可能にする。
• フレームワークは、幅優先Minimaxにアルファベータ pruning を適用するようなアルゴリズムをシミュレートするための操作ツール（例：CalculateScores、GetScores）を統合している。
• 後退帰納法と作業記憶を用いて、ゲーム状態の計算済みスコアを保存・取得し、最適な手の選択を可能にする。
• 異なる戦略的状況において、価値反復、上界信頼区間価値反復、後退帰納法といった基準アルゴリズムを模倣するように設計されている。
• 既知の環境モデルと未知の環境モデルの両方をサポートし、動的に既知のダイナミクスに基づく計画とツール支援シミュレーションによる探索を切り替える。
• マーカフ連鎖過程、動的メカニズム設計、交渉ゲームを含む、特定のタスクに特化したプロンプトを用いてフレームワークを評価している。

実験結果

リサーチクエスチョン

• RQ1 ツール拡張と記憶を備えたLLMエージェントは、戦略的意思決定タスクにおいて標準的なプロンプト処理を上回ることができるか？
• RQ2 Tic-Tac-Toe と同様の長期間計画と相手モデル化を要する環境、例えば逐次的交渉において、STRIDEフレームワークの有効性はいかほどか？
• RQ3 LLMがツール支援推論を通じて、Minimaxにアルファベータ pruning を適用するような複雑なアルゴリズムをどの程度正確にシミュレートできるか？
• RQ4 記憶と構造的ツール利用の統合は、Tic-Tac-Toe や Connect-N においてゼロショット・チェーン・オブ・スケッチプロンプトと比較して性能を向上させるか？
• RQ5 このフレームワークは、動的メカニズム設計や二重交渉を含む、さまざまな戦略的分野に一般化可能か？

主な発見

• Tic-Tac-Toe では、ゼロショット・チェーン・オブ・スケッチモデルに対して90%の勝率を達成し、ゼロショット・チェーン・オブ・スケッチにコードを追加したモデルに対しては80%の勝率を記録した。
• モンテカルロツリー探索（MCTS）を用いたRAFA相手に50%の勝率を記録し、専用エージェントに対しても強力な性能を示した。
• Connect-3 では30%の勝率を達成し、ゼロショット・CoT（60%の勝率）とゼロショット・CoTにコードを追加したモデル（90%の勝率）を大きく上回った。これは戦略的整合性の高さを示している。
• Connect-4 では50%の勝率を記録し、ゼロショット・CoTにコードを追加したベースラインと同等の性能を示したが、引き分けの確率は50%（ベースラインは10%）と著しく上回った。
• Tic-Tac-Toe において10回の実行で80%の引き分け率を記録し、対称的ゲームにおける高い安定性と準最適性を示した。
• マーカフ連鎖過程、動的メカニズム設計、交渉ゲームを含む複数の戦略的分野において、一貫した性能を示し、ベースラインLLMと比較して明確な改善を示した。