[論文レビュー] Understanding the planning of LLM agents: A survey

Xu Huang, Weiwen Liu+7 more|arXiv (Cornell University)|Feb 5, 2024

Multi-Agent Systems and Negotiation被引用数 29

ひとこと要約

自律エージェントにおける計画で大規模言語モデル（LLMs）がどのように用いられるかを体系的に調査し、五方向の分類を提案し、対話型ベンチマークで代表的手法を評価する。

ABSTRACT

As Large Language Models (LLMs) have shown significant intelligence, the progress to leverage LLMs as planning modules of autonomous agents has attracted more attention. This survey provides the first systematic view of LLM-based agents planning, covering recent works aiming to improve planning ability. We provide a taxonomy of existing works on LLM-Agent planning, which can be categorized into Task Decomposition, Plan Selection, External Module, Reflection and Memory. Comprehensive analyses are conducted for each direction, and further challenges for the field of research are discussed.

研究の動機と目的

• 包括的な分類を提供することにより、LLMベースのエージェント計画に関する研究を動機づけ、整理する。
• 五つの計画方向: Task Decomposition、Multi-Plan Selection、External Module、Reflection and Memory の利点と限界を分析する。
• 代表的な手法を要約し、幻覚性、実現性、効率性などの課題を議論する。
• 方法の比較のためのベンチマーク評価を提示し、方法とタスク間の計画能力を比較する。

提案手法

• LLMエージェント計画手法を分類する五方向の分類法を提案する: Task Decomposition、Multi-Plan Selection、External Planner-Aided Planning、Reflection and Refinement、Memory-augmented Planning.
• 各方向を正式な定式化、代表的な技術、主要な洞察とともに分析する。
• 分解戦略（decomposition-first vs interleaved）とそのトレードオフを論じる。
• LLMとPDDL、LLMとASP、ニュートラルプランナーを含む外部の記号的・ニューラルプランナーを用いた計画を検討する。
• 反省／改良アプローチとメモリ増強（RAGベースと embodiment memory）を例示とともに検証する。
• 4つのベンチマークで方法を評価し、資源使用と計画性能の関係を示す。

実験結果

リサーチクエスチョン

• RQ1 LLMベースのエージェントにおける計画を実現する主な方法論的方向は何か。
• RQ2 各計画方向（タスク分解、複数計画の選択、外部プランナー、反省、記憶）の利点と限界は何か。
• RQ3 外部プランナーと記憶モダリティは計画の実現性、効率、故障耐性にどう影響するか。
• RQ4 ベンチマーク評価からの実証的証拠は、計画の有効性とコストについて何を示しているか。
• RQ5 LLMベースのエージェント計画における主要なオープン課題と今後の方向性は何か。

主な発見

• 五方向分類はLLM-エージェント計画研究を効果的に整理する: Task Decomposition、Multi-plan Selection、External Planner-Aided Planning、Reflection and Refinement、Memory-augmented Planning。
• 組み込み的分解は故障耐性を向上させるが長い軌道で幻覚のリスクを高める可能性がある；分解優先法はタスクとサブタスクの整合性を強化するが適応性に欠ける場合がある。
• 複数計画の生成と選択は探索範囲を広げるが計算コストを増加させ、計画の評価をLLMベースに依存する。
• 外部プランナー（PDDLのような記号論的、ニューラルプランナーを含む）は制約・探索を処理することで実現性と効率を補強する；LLMsは主にタスクを形式化し推論を提供する。
• 反省と記憶（RAGベースと embodiment memory）は故障耐性と適応性を向上させるが、収束と記憶更新のトレードオフが依然課題である。
• ALFWorld、ScienceWorld、HotPotQA、FEVERでのベンチマーク評価は、トークン消費の増加とともに性能が向上することを示し、コストと計画品質のトレードオフを強調する。