[论文解读] MetaTool Benchmark for Large Language Models: Deciding Whether to Use Tools and Which to Use

Yi Huang, Jiawen Shi+9 more|arXiv (Cornell University)|Oct 4, 2023

Topic Modeling被引用 5

一句话总结

本文提出了MetaTool，一个用于评估大语言模型（LLMs）工具使用意识与选择能力的基准。该研究构建了一个名为ToolE的数据集，涵盖单工具与多工具场景下的多样化用户查询，并定义了四个子任务：相似选项选择、特定场景选择、可靠性问题处理以及多工具协同。实验结果表明，大多数LLMs在工具选择方面表现不佳，暴露出其作为智能代理在实际复杂场景中能力的显著不足。

ABSTRACT

Large language models (LLMs) have garnered significant attention due to their impressive natural language processing (NLP) capabilities. Recently, many studies have focused on the tool utilization ability of LLMs. They primarily investigated how LLMs effectively collaborate with given specific tools. However, in scenarios where LLMs serve as intelligent agents, as seen in applications like AutoGPT and MetaGPT, LLMs are expected to engage in intricate decision-making processes that involve deciding whether to employ a tool and selecting the most suitable tool(s) from a collection of available tools to fulfill user requests. Therefore, in this paper, we introduce MetaTool, a benchmark designed to evaluate whether LLMs have tool usage awareness and can correctly choose tools. Specifically, we create a dataset called ToolE within the benchmark. This dataset contains various types of user queries in the form of prompts that trigger LLMs to use tools, including both single-tool and multi-tool scenarios. Subsequently, we set the tasks for both tool usage awareness and tool selection. We define four subtasks from different perspectives in tool selection, including tool selection with similar choices, tool selection in specific scenarios, tool selection with possible reliability issues, and multi-tool selection. We conduct experiments involving eight popular LLMs and find that the majority of them still struggle to effectively select tools, highlighting the existing gaps between LLMs and genuine intelligent agents. However, through the error analysis, we found there is still significant room for improvement. Finally, we conclude with insights for tool developers -- we strongly recommend that tool developers choose an appropriate rewrite model for generating new descriptions based on the downstream LLM the tool will apply to. Our code is in https://github.com/HowieHwong/MetaTool.

研究动机与目标

• 为解决现有基准缺乏对LLMs在工具调用之外的决策能力（即是否使用工具及使用哪个工具）的评估问题。
• 识别LLMs在真实复杂场景中工具使用意识与选择能力的关键缺陷。
• 提供一个全面的评估框架，以捕捉工具使用中细微的决策过程。
• 为工具开发者提供指导，优化工具描述以提升与下游LLMs的兼容性。

提出的方法

• 设计一个新的基准MetaTool，聚焦于两项核心能力：工具使用意识（是否使用工具）和工具选择（使用哪个工具）。
• 构建包含触发工具使用的用户查询的ToolE数据集，覆盖单工具与多工具场景，涵盖多样化意图。
• 定义四个子任务：在相似选项中进行工具选择、在特定场景中进行工具选择、处理存在可靠性问题的工具，以及多工具协同。
• 采用标准化评估协议，对八种主流LLMs（包括GPT-4、ChatGPT、Vicuna、Llama2）在该基准上进行评估。
• 对失败案例进行错误分析，识别LLMs在判断工具必要性与自身能力方面的误判模式。
• 基于研究发现，为工具开发者提供建议，特别是针对如何重写工具描述以更好地适配下游LLMs。

实验结果

研究问题

• RQ1 LLMs能否正确判断何时应使用工具而非依赖其内部知识？
• RQ2 LLMs在多个合理选项中选择最适当工具的能力如何？
• RQ3 LLMs在模糊或高可靠性风险场景中如何处理工具选择？
• RQ4 多工具协同中的失败模式是什么？不同模型之间的差异如何？
• RQ5 LLMs在工具相关决策中，对其自身能力的高估或低估程度如何？

主要发现

• 大多数LLMs在工具使用意识方面表现不佳，常在必要时错误地决定不使用工具。
• 大量LLMs高估其内部能力，拒绝使用工具完成数学计算或网络搜索等任务。
• LLMs表现出不一致性——部分声称可内部完成计算，而另一些则坚持使用外部工具，即使面对简单操作亦如此。
• 错误分析显示，LLMs经常在本可内部处理的任务上依赖工具，表明其对自身能力缺乏自知之明。
• 该基准揭示了当前LLMs与真正智能代理在自主多步骤任务中应具备行为之间的明显差距。
• 建议工具开发者根据目标LLM调整工具描述，以提升下游工具选择性能。