[論文レビュー] A Survey on Large Language Model-Based Game Agents

Sihao Hu, Tiansheng Huang+7 more|arXiv (Cornell University)|Apr 2, 2024

Topic Modeling被引用数 6

ひとこと要約

この調査は、LLMベースのゲームエージェント（LLMGAs）のアーキテクチャと手法を、6つの機能モジュールと6つのゲームジャンルを軸に整理し、将来の研究方向を概説する。

ABSTRACT

Game environments provide rich, controllable settings that stimulate many aspects of real-world complexity. As such, game agents offer a valuable testbed for exploring capabilities relevant to Artificial General Intelligence. Recently, the emergence of Large Language Models (LLMs) provides new opportunities to endow these agents with generalizable reasoning, memory, and adaptability in complex game environments. This survey offers an up-to-date review of LLM-based game agents (LLMGAs) through a unified reference architecture. At the single-agent level, we synthesize existing studies around three core components: memory, reasoning, and perception-action interfaces, which jointly characterize how language enables agents to perceive, think, and act. At the multi-agent level, we outline how communication protocols and organizational models support coordination, role differentiation, and large-scale social behaviors. To contextualize these designs, we introduce a challenge-centered taxonomy linking six major game genres to their dominant agent requirements, from low-latency control in action games to open-ended goal formation in sandbox worlds. A curated list of related papers is available at https://github.com/git-disl/awesome-LLM-game-agent-papers

研究の動機と目的

• 知覚、記憶、思考、ロールプレイ、行動、学習から成る、LLMベースのゲームエージェントの統一フレームワークを定義する。
• 既存のLLMGAsをゲームジャンル（アドベンチャー、コミュニケーション、競技、協力、シミュレーション、クラフト＆探索）で分類し、手法を分析する。
• ジャンル横断の技術的課題、環境、最適化戦略を特定する。
• LLMAシステムにおける知覚、記憶取得、計画、学習の改善のための道筋を強調する。
• LLMGAsの継続的研究を支援するための厳選された文献目録を提供する。

提案手法

• 知覚、記憶、思考、ロールプレイ、行動、学習の6モジュールからなるLLMAコンポーネントの六部構成アーキテクチャフレームワークを提案する。
• 6つのゲームジャンルに跨る既存のLLMA文献をレビューし、手法と適応戦略を要約する。
• 状態変数アクセス、外部ビジュアルエンコーダ、マルチモーダルLLMを含む知覚技術と、一般化の課題について論じる。
• エピソード記憶、意味記憶、手続き記憶を含む記憶メカニズムと取得戦略を説明する。
• 推論と計画アプローチ（CoT、SC、ToM、目標なし対目標条件付き計画）を概説し、それらがLLMAの性能に与える影響を述べる。
• 継続的改善のための行動翻訳と学習手法（インコンテキストフィードバック、教師あり微調整、強化学習）を検討する。

実験結果

リサーチクエスチョン

• RQ1 LLMAシステムの包括的なアーキテクチャ設計図は何で、6つの中核モジュールがどのように相互作用して人間のような意思決定をゲームで実現するか？
• RQ2 異なるゲームジャンルでLLMAアプローチはどのように異なり、共通の課題と最適化戦略は何か？
• RQ3 さまざまなゲーム環境で、知覚、記憶、推論、計画、行動、学習の技術のどれがLLMGAsにとって最も効果的か？
• RQ4 ゲームにおけるLLMGAsの今後の開発と統合に向けて、どの方向性が有望か？

主な発見

• 知覚、記憶、思考、ロールプレイ、行動、学習の6モジュールからなる統一アーキテクチャを、LLMA設計の足場として提案する。
• 6つのゲームジャンル（アドベンチャー、競技、協力、シミュレーション、クラフト＆探索、コミュニケーション）を用いて既存のLLMA研究を分類し、手法を比較する。
• 知覚戦略は、記号的状態アクセス、外部ビジュアルエンコーダ、マルチモーダルLLMを組み合わせ、一般化の制約があることを指摘する。
• 記憶システムはエピソード記憶、意味記憶、手続き記憶に整理され、取得は意味的類似性と新しさ/重要性を考慮して行われる。
• 思考は推論と計画を含み、逐次思考（Chain-of-Thought）、多経路推論、反省、目標なし対目標条件付き計画などの技法が含まれる。
• 学習アプローチにはインコンテキスト・フィードバック、教師あり微調整、強化学習を含み、LLMsをアクター、プランナー、プレゼンター、報酬設計ツールとして用いるさまざまなパラダイムがある。