[논문 리뷰] MetaTool Benchmark for Large Language Models: Deciding Whether to Use Tools and Which to Use

Yi Huang, Jiawen Shi외 9명|arXiv (Cornell University)|2023. 10. 04.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)의 도구 사용 인식 능력과 도구 선택 능력을 평가하기 위한 벤치마크인 MetaTool을 소개한다. 다양한 사용자 쿼리로 구성된 도구 사용 시나리오(단일 도구 및 다중 도구)를 포함하는 데이터셋 ToolE를 제안하며, 네 가지 하위 작업을 정의한다: 유사한 선택지, 특정 시나리오, 신뢰성 문제, 다중 도구 선택. 실험 결과 대부분의 LLMs가 도구 선택에 어려움을 겪어 지능형 에이전트로서의 역량에 심각한 격차가 있음을 드러냈다.

ABSTRACT

Large language models (LLMs) have garnered significant attention due to their impressive natural language processing (NLP) capabilities. Recently, many studies have focused on the tool utilization ability of LLMs. They primarily investigated how LLMs effectively collaborate with given specific tools. However, in scenarios where LLMs serve as intelligent agents, as seen in applications like AutoGPT and MetaGPT, LLMs are expected to engage in intricate decision-making processes that involve deciding whether to employ a tool and selecting the most suitable tool(s) from a collection of available tools to fulfill user requests. Therefore, in this paper, we introduce MetaTool, a benchmark designed to evaluate whether LLMs have tool usage awareness and can correctly choose tools. Specifically, we create a dataset called ToolE within the benchmark. This dataset contains various types of user queries in the form of prompts that trigger LLMs to use tools, including both single-tool and multi-tool scenarios. Subsequently, we set the tasks for both tool usage awareness and tool selection. We define four subtasks from different perspectives in tool selection, including tool selection with similar choices, tool selection in specific scenarios, tool selection with possible reliability issues, and multi-tool selection. We conduct experiments involving eight popular LLMs and find that the majority of them still struggle to effectively select tools, highlighting the existing gaps between LLMs and genuine intelligent agents. However, through the error analysis, we found there is still significant room for improvement. Finally, we conclude with insights for tool developers -- we strongly recommend that tool developers choose an appropriate rewrite model for generating new descriptions based on the downstream LLM the tool will apply to. Our code is in https://github.com/HowieHwong/MetaTool.

연구 동기 및 목표

• 도구 호출 외에 도구를 사용할지 여부를 결정하는 능력을 평가하는 벤치마크 부족 문제를 해결하기 위해.
• 실제 복잡한 시나리오에서 LLMs의 도구 사용 인식 및 선택 능력에 대한 핵심적 격차를 특정하기 위해.
• 도구 활용에서의 미묘한 의사결정 과정을 포괄하는 종합적인 평가 프레임워크를 제공하기 위해.
• 도구 개발자가 도구 설명을 개선하여 후속 LLM 호환성을 높이도록 안내하기 위해.

제안 방법

• 도구 사용 인식(도구를 사용할지 여부)과 도구 선택(어느 도구를 사용할지)이라는 두 가지 핵심 능력을 중점으로 하는 새로운 벤치마크인 MetaTool을 설계한다.
• 단일 도구 및 다중 도구 시나리오를 포함하며 다양한 의도를 수반하는 도구 사용을 유도하는 사용자 쿼리로 구성된 ToolE 데이터셋을 구축한다.
• 네 가지 하위 작업을 정의한다: 유사한 선택지가 있는 도구 선택, 특정 시나리오에서의 선택, 신뢰성 문제가 있는 도구 처리, 다중 도구 조율.
• 표준화된 평가 프rotocol를 사용하여 GPT-4, ChatGPT, Vicuna, Llama2를 포함한 여덟 가지 인기 있는 LLMs를 벤치마크에서 평가한다.
• 실패 사례에 대한 오류 분석을 수행하여 LLMs가 도구 필요성과 자기 능력에 대해 잘못 판단하는 패턴을 규명한다.
• 특히 후속 LLM과의 호환성을 높이기 위해 도구 설명을 재작성할 것을 제안하여 도구 개발자들에게 지침을 제공한다.

실험 결과

연구 질문

• RQ1 LLMs는 내부 지식에 의존할지, 도구를 사용할지 올바르게 결정할 수 있는가?
• RQ2 여러 가능성이 있는 도구 중에서 가장 적절한 도구를 선택하는 데 LLMs는 얼마나 잘 수행하는가?
• RQ3 모호하거나 높은 신뢰성 리스크가 있는 시나리오에서 LLMs는 도구 선택을 어떻게 처리하는가?
• RQ4 다중 도구 조율에서의 실패 패턴은 무엇이며, 모델 간에 어떻게 다를까?
• RQ5 LLMs는 도구 관련 결정에서 자신의 능력을 과도하게 과대평가하거나 과소평가하는 정도는 어느 정도인가?

주요 결과

• 대부분의 LLMs는 도구 사용 인식 능력에 어려움을 겪으며, 도구가 필요할 때도 잘못된 결정을 내리는 경향이 있다.
• 매우 많은 LLMs가 내부 능력을 과대평가하여 수학 계산이나 인터넷 검색과 같은 작업에 도구를 거부한다.
• LLMs는 일관되지 않은 행동을 보인다—어떤 모델은 내부에서 계산을 수행할 수 있다고 주장하지만, 다른 모델은 간단한 연산조차도 외부 도구를 요구한다.
• 오류 분석 결과, LLMs는 스스로 처리할 수 있는 작업을 도구에 의존하는 경우가 빈번히 발생하여 자신의 능력에 대한 자각이 부족함을 드러냈다.
• 이 벤치마크는 현재 LLMs와 자율적이고 다단계 작업을 수행하는 진정한 지능형 에이전트로서의 기대 행동 사이에 명확한 격차를 드러냈다.
• 도구 개발자는 후속 LLM과의 호환성을 높이기 위해 대상 LLM에 맞게 도구 설명을 조정할 것을 권장받는다.