[論文レビュー] TPTU: Large Language Model-based AI Agents for Task Planning and Tool Usage

Jingqing Ruan, Yihong Chen+9 more|arXiv (Cornell University)|Aug 7, 2023

Topic Modeling被引用数 11

ひとこと要約

この論文は、タスク計画とツール使用を実行するためのLLMベースのAIエージェント用の構造化フレームワークを提示し、one-stepとsequentialエージェントを導入し、計画とツール使用タスクに対して複数のLLMを詳細な実証結果とともに評価します。

ABSTRACT

With recent advancements in natural language processing, Large Language Models (LLMs) have emerged as powerful tools for various real-world applications. Despite their prowess, the intrinsic generative abilities of LLMs may prove insufficient for handling complex tasks which necessitate a combination of task planning and the usage of external tools. In this paper, we first propose a structured framework tailored for LLM-based AI Agents and discuss the crucial capabilities necessary for tackling intricate problems. Within this framework, we design two distinct types of agents (i.e., one-step agent and sequential agent) to execute the inference process. Subsequently, we instantiate the framework using various LLMs and evaluate their Task Planning and Tool Usage (TPTU) abilities on typical tasks. By highlighting key findings and challenges, our goal is to provide a helpful resource for researchers and practitioners to leverage the power of LLMs in their AI applications. Our study emphasizes the substantial potential of these models, while also identifying areas that need more investigation and improvement.

研究の動機と目的

• オープンソースLLMのTPTU能力を評価するための構造化フレームワークを提案する。
• 推論戦略を研究するための2つのエージェントタイプ（一歩/One-stepとシーケンシャル）を設計する。
• 多様なLLMでフレームワークを具体化し、計画とツール使用の性能を評価する。
• 将来の研究を導くためにLLMベースのエージェントの弱点を特定する。

提案手法

• 六つの要素からなるAIエージェントフレームワークを定義する：Task Instruction、Designed Prompt、Tool Set、LLM、Intermediate Output、Final Answer。
• 二つのエージェントアーキテクチャを導入する：One-step Agent (TPTU-OA)とSequential Agent (TPTU-SA)。
• ツールの順序やサブタスクの説明を含む計画能力を、適切に設計されたプロンプトを用いて評価する。
• 定義された12ツールセット（例：SQL生成器、Python生成器、天気クエリ、翻訳など）に対するツール使用を評価する。
• 複数のLLMをテストする（ChatGPT、Claude、InternLM、Ziya、ChatGLM、中国Alpaca-Plus など）。
• 結果を分析して、計画とツール使用における強み・弱みと、プロンプト設計の影響を特定する。

実験結果

リサーチクエスチョン

• RQ1 TPTU-OAとTPTU-SAは、ツールの使用順序をどれだけうまく計画できるか。
• RQ2 LLMベースのエージェントは、正確なツール-サブタスクのペアを生成し、関係のないツールでも動作できるか。
• RQ3 TPTUフレームワーク内でSQLおよび数学/コード生成における異なるLLMの性能はどうか。
• RQ4 タスク計画とツール使用のためのLLMベースAIエージェントの主な強みと弱点は何か。

主な発見

• ツール順序計画の正確さはモデルによって異なり、特定の設定で100%を達成するものもある（例：Table 3 の ChatGPT と Claude）。
• 計画とサブタスク生成法は、サブタスク説明付きのツール順序を生成する際に正確性が低下するが、統一ツール-サブタスクペアのプロンプトは性能を向上させる（統一形式での52.9%の利得が言及されている）。
• 高性能LLMの評価全般において、Sequentialエージェント（TPTU-SA）は一般にOne-stepエージェント（TPTU-OA）を上回る。
• 適切に設計されたプロンプトを通じて、無関係なツールを識別する能力をフレームワークが示し、ツール選択の有効性を示唆する。
• 単一ツールのSQL生成は、いくつかのモデルで高い正確性を示す（例：ChatGPT 90%、Claude 100%、InternLM 90%）、他のケースではモデル間で顕著な変動がある。
• 複雑なSQLおよび数学的コード生成の結果は、モデルおよびプロンプトのアプローチ（direct-guidance対CoT）によって異なり、モデル依存の強みを浮き彫りにする。