[論文レビュー] EASYTOOL: Enhancing LLM-based Agents with Concise Tool Instruction

Siyu Yuan, Kaitao Song+6 more|arXiv (Cornell University)|Jan 11, 2024

Topic Modeling被引用数 4

ひとこと要約

EASYTOOL は、多様で長大かつ不整合なツールドキュメンテーションを、要約され、統一的で標準化されたツール説明に変換するフレームワークを提案する。本手法は、必須情報を精錬し、構造的で例示豊富なツール記述を生成することで、トークン消費を削減し、複数のベンチマークで顕著な性能向上を達成する。特に、ReActプロンプティングを用いたChatGPTでは、FuncQAベンチマークで28.3%の絶対的正確性向上を達成した。

ABSTRACT

To address intricate real-world tasks, there has been a rising interest in tool utilization in applications of large language models (LLMs). To develop LLM-based agents, it usually requires LLMs to understand many tool functions from different tool documentation. But these documentations could be diverse, redundant or incomplete, which immensely affects the capability of LLMs in using tools. To solve this, we introduce EASYTOOL, a framework transforming diverse and lengthy tool documentation into a unified and concise tool instruction for easier tool usage. EasyTool purifies essential information from extensive tool documentation of different sources, and elaborates a unified interface (i.e., tool instruction) to offer standardized tool descriptions and functionalities for LLM-based agents. Extensive experiments on multiple different tasks demonstrate that EasyTool can significantly reduce token consumption and improve the performance of tool utilization in real-world scenarios. Our code will be available at \url{https://github.com/microsoft/JARVIS/} in the future.

研究の動機と目的

• LLMベースのエージェントがツールを効果的に選択・使用するのを妨げる、不整合で重複・不完全なツールドキュメンテーションの課題に対処すること。
• LLM推論におけるツールドキュメンテーションのトークン負荷を軽減するため、コンactで標準化されたツール説明を生成すること。
• ファインチューニングやモデル重みへのアクセスを必要とせず、実世界のツール利用タスクにおいてLLMベースのエージェントの性能を向上させること。
• 一貫性があり、人間とモデルの両方が読みやすいツール説明フォーマットを用いて、外部ツールを即座に統合可能なエージェントにすること。

提案手法

• EASYTOOL は、多様なツールドキュメンテーションソース（例：RapidAPI、Hugging Face、HFModel）から必須情報を抽出・統合し、1つの統一されたツール説明にまとめる。
• 情報精錼、機能の抽象化、一貫したテンプレート（名前、説明、パラメータ、使用例）を用いた構造化フォーマットの3段階にわたる精錬パイプラインを適用する。
• 状況に応じた使用ガイドとパラメータ仕様を含む、要約され、例示豊富なツール説明を生成する。
• LLMを活用して、生のドキュメンテーションから明確で完全かつ一貫性のあるツール説明を合成する。
• ファインチューニングを避けて、洗練されたツール説明を用いたプロンプトエンジニアリングに依存することで、オープンソースおよびブラックボックスLLMの両方をサポートする。
• 拡張性とスケーラビリティに配慮しており、最小限または完全にドキュメンテーションのないツールに対しても適用可能であることが、FuncQAを用いて実証された。

実験結果

リサーチクエスチョン

• RQ1 統一的で要約されたツール説明フォーマットは、実世界のタスクにおいてLLMエージェントの外部ツール選択・使用能力を顕著に向上させることができるか？
• RQ2 EASYTOOL は、ツール利用性能を維持または向上させつつ、どのようにしてトークン消費を削減するのか？
• RQ3 不完全または最小限のツールドキュメンテーションがあるタスクにおいて、EASYTOOL はLLMエージェントの性能をどの程度向上させられるか？
• RQ4 標準化され、例示豊富なツール説明は、複雑な推論タスクにおいてfew-shotデモンストレーションやchain-of-thoughtプロンプティングを上回る性能を発揮するか？
• RQ5 EASYTOOL は、ファインチューニングを必要とせず、オープンソースおよびプロプライエタリなLLMに効果的に適用可能か？

主な発見

• Vicuna-30B は、one-hop FuncQAベンチマークでReActを用いた際の正確性45.00%からEASYTOOLを用いることで65.00%に向上し、20.00ポイントの改善を達成した。
• multi-hop FuncQAの質問において、Vicuna-30B の正確性はEASYTOOLを用いることで7.35%から11.76%に上昇し、4.41ポイントの向上を示した。
• ChatGPT は、multi-hop FuncQA においてReActを用いた際の正確性41.17%が、EASYTOOLを用いることで48.53%に上昇し、7.36ポイントの改善を達成した。
• ChatGPT のツールエラー率は、EASYTOOLを用いることでFuncQAで9.38%から2.34%に低下し、ツール選択およびパラメータ使用の正確性が向上したことが示された。
• EASYTOOL は、生のドキュメンテーションと比較して、ツールドキュメンテーションに必要なトークン数を最大70%まで削減し、推論コストを顕著に低減した。
• 本フレームワークは、オープンソースおよびプロプライエタリなLLMの両方において、RestBench や FuncQA を含む多様なベンチマークで一貫した性能向上を示した。