[論文レビュー] MetaTool Benchmark for Large Language Models: Deciding Whether to Use Tools and Which to Use

Yi Huang, Jiawen Shi+9 more|arXiv (Cornell University)|Oct 4, 2023

Topic Modeling被引用数 5

ひとこと要約

この論文では、大規模言語モデル（LLMs）のツール使用認識および選択能力を評価するためのベンチマーク、MetaToolを紹介する。ツールEと呼ばれるデータセットを提案し、単一ツールおよびマルチツールのシナリオにおける多様なユーザークエリをカバーする。4つのサブタスク（類似選択、特定シナリオ、信頼性問題、マルチツール選択）を定義する。実験の結果、大多数のLLMsがツール選択において困難を示し、知能エージェントとしての能力に顕著なギャップが明らかになった。

ABSTRACT

Large language models (LLMs) have garnered significant attention due to their impressive natural language processing (NLP) capabilities. Recently, many studies have focused on the tool utilization ability of LLMs. They primarily investigated how LLMs effectively collaborate with given specific tools. However, in scenarios where LLMs serve as intelligent agents, as seen in applications like AutoGPT and MetaGPT, LLMs are expected to engage in intricate decision-making processes that involve deciding whether to employ a tool and selecting the most suitable tool(s) from a collection of available tools to fulfill user requests. Therefore, in this paper, we introduce MetaTool, a benchmark designed to evaluate whether LLMs have tool usage awareness and can correctly choose tools. Specifically, we create a dataset called ToolE within the benchmark. This dataset contains various types of user queries in the form of prompts that trigger LLMs to use tools, including both single-tool and multi-tool scenarios. Subsequently, we set the tasks for both tool usage awareness and tool selection. We define four subtasks from different perspectives in tool selection, including tool selection with similar choices, tool selection in specific scenarios, tool selection with possible reliability issues, and multi-tool selection. We conduct experiments involving eight popular LLMs and find that the majority of them still struggle to effectively select tools, highlighting the existing gaps between LLMs and genuine intelligent agents. However, through the error analysis, we found there is still significant room for improvement. Finally, we conclude with insights for tool developers -- we strongly recommend that tool developers choose an appropriate rewrite model for generating new descriptions based on the downstream LLM the tool will apply to. Our code is in https://github.com/HowieHwong/MetaTool.

研究の動機と目的

• ツールの起動を超えて、LLMsがいつどのツールを使うかを意思決定する能力を評価するベンチマークの不足に対処すること。
• 現実的で複雑なシナリオにおけるLLMsのツール使用認識および選択に関する深刻なギャップを特定すること。
• ツール利用における洗練された意思決定を捉える包括的な評価フレームワークを提供すること。
• ツール開発者が、下流のLLMsとの互換性を高めるためにツールの説明を最適化する手がかりを提供すること。

提案手法

• ツール使用認識（ツールを使用するかどうか）とツール選択（どのツールを選ぶか）の2つのコア能力に焦点を当てた、新しいベンチマークMetaToolの設計。
• 単一ツールおよびマルチツールのシナリオをカバーし、多様な意図を有するユーザークエリを含む、ツールEデータセットの作成。
• 4つのサブタスクの定義：類似選択、特定シナリオにおける選択、信頼性に問題のあるツールの処理、マルチツールの協調。
• GPT-4、ChatGPT、Vicuna、Llama2を含む8つの代表的なLLMsを、標準化された評価プロトコルを用いてベンチマークで評価。
• 失敗事例の誤差分析を通じて、LLMsがツールの必要性や自己能力について誤って判断するパターンを同定。
• 特に、下流のLLMsに適合するようにツールの説明を再構成することを提案し、ツール開発者への助言を提供。

実験結果

リサーチクエスチョン

• RQ1 LLMsは、内部知識に依存するか、ツールを使用すべきかを正しく判断できるか？
• RQ2 複数の妥当な選択肢がある中で、LLMsは最も適切なツールを選択できるか？
• RQ3 曖昧な状況や信頼性リスクの高い状況では、LLMsはどのようにツール選択を行うか？
• RQ4 マルチツール協調における失敗パターンは何か。また、モデル間でどのように異なるか？
• RQ5 LLMsは、ツール関連の意思決定において、自分の能力を過大評価または過小評価する程度はどの程度か？

主な発見

• 大多数のLLMsはツール使用認識に苦労しており、必要であるにもかかわらずツールを使用しない誤った判断を頻繁に下す。
• 多数のLLMsが内部能力を過大評価し、数学的計算やインターネット検索などのタスクでツールの使用を拒否する。
• LLMsは一貫性に欠ける行動を示す。一部は内部で計算が可能だと主張するが、他のモデルは簡単な演算ですら外部ツールを必要とすると主張する。
• 誤差分析の結果、LLMsは自らの能力についての自己認識に欠け、内部で処理可能なタスクですらツールに依存する傾向があることが判明した。
• このベンチマークは、現在のLLMsと、自律的でマルチステップのタスクを遂行する真の知能エージェントとして期待される行動との間に明確なギャップがあることを暴露した。
• ツール開発者は、ターゲットとなるLLMに合わせてツールの説明を調整することで、下流のツール選択パフォーマンスを向上させることを推奨される。