[논문 리뷰] EASYTOOL: Enhancing LLM-based Agents with Concise Tool Instruction

Siyu Yuan, Kaitao Song외 6명|arXiv (Cornell University)|2024. 01. 11.

Topic Modeling인용 수 4

한 줄 요약

EASYTOOL은 다양한, 긴, 일관성 없는 도구 문서를 일관되고 표준화된 도구 지침으로 변환하는 프레임워크를 제안한다. 이는 LLM 기반 에이전트의 도구 활용 능력을 향상시킨다. 핵심 정보를 정제하고 예시가 풍부한 구조화된 도구 설명을 생성함으로써 EASYTOOL은 토큰 소비를 줄이고, 여러 벤치마크에서 성능을 크게 향상시킨다. 특히 ReAct 프롬프팅을 사용한 ChatGPT에서 FuncQA에서 정확도가 절대적으로 28.3% 향상되었다.

ABSTRACT

To address intricate real-world tasks, there has been a rising interest in tool utilization in applications of large language models (LLMs). To develop LLM-based agents, it usually requires LLMs to understand many tool functions from different tool documentation. But these documentations could be diverse, redundant or incomplete, which immensely affects the capability of LLMs in using tools. To solve this, we introduce EASYTOOL, a framework transforming diverse and lengthy tool documentation into a unified and concise tool instruction for easier tool usage. EasyTool purifies essential information from extensive tool documentation of different sources, and elaborates a unified interface (i.e., tool instruction) to offer standardized tool descriptions and functionalities for LLM-based agents. Extensive experiments on multiple different tasks demonstrate that EasyTool can significantly reduce token consumption and improve the performance of tool utilization in real-world scenarios. Our code will be available at \url{https://github.com/microsoft/JARVIS/} in the future.

연구 동기 및 목표

• LLM 기반 에이전트가 도구를 효과적으로 선택하고 사용하는 데 방해가 되는 일관성 없고 중복적이며 불완전한 도구 문서 문제를 해결하기 위해.
• LLM 추론에서 도구 문서의 토큰 부담을 줄이기 위해 압축되고 표준화된 도구 지침을 생성하기 위해.
• 모델 가중치에 대한 액세스나 파인튜닝 없이도 실세계 도구 사용 작업에서 LLM 기반 에이전트의 성능을 향상시키기 위해.
• 통합되고 인간 및 모델이 모두 읽을 수 있는 도구 지침 형식을 통해 외부 도구를 즉시 통합할 수 있도록 하기 위해.

제안 방법

• EASYTOOL은 다양한 도구 문서 소스(예: RapidAPI, Hugging Face, HFModel)에서 핵심 정보를 추출하고 통합하여 단일한 통합 도구 지침으로 변환한다.
• 다단계 정제 파이프라인을 적용한다: 정보 정제, 기능 추상화, 일관된 템플릿(이름, 설명, 매개변수, 사용 예시 포함)을 사용한 구조화된 형식화.
• 시나리오 기반 사용 가이드라인과 매개변수 사양을 포함한 간결하고 예시 중심의 도구 지침을 생성한다.
• LLM을 활용해 원시 도구 문서에서 명확하고 완전하며 일관된 도구 지침을 합성함으로써, 다양한 도구 간 일관성을 확보한다.
• 모델 파인튜닝을 피하고 정제된 도구 설명을 활용한 프롬프트 엔지니어링에 의존함으로써, 오픈소스 및 블랙박스 LLM 모두를 지원한다.
• 확장성과 스케일러빌리티를 고려해 설계되었으며, FuncQA에서와 같이 문서가 최소 또는 없을 경우에도 적용 가능하다.

실험 결과

연구 질문

• RQ1 통합되고 간결한 도구 지침 형식이 실세계 작업에서 LLM 에이전트의 외부 도구 선택 및 사용 능력을 크게 향상시킬 수 있는가?
• RQ2 EASYTOOL은 성능을 유지하거나 향상시키면서도 토큰 소비를 어떻게 줄이는가?
• RQ3 EASYTOOL은 문서가 불완전하거나 최소한일 경우 LLM 에이전트의 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 표준화되고 예시가 풍부한 도구 지침이 복잡한 추론 작업에서 소수의 예시 및 사고의 사슬 프롬프팅보다 우수한 성능을 내는가?
• RQ5 EASYTOOL은 파인튜닝 없이도 오픈소스 및 프라이버트 LLM에 효과적으로 적용될 수 있는가?

주요 결과

• Vicuna-30B의 한 스텝 FuncQA 벤치마크에서 EASYTOOL 적용 시 정확도가 ReAct를 사용한 45.00%에서 65.00%로 상승하여 20.00%포인트 향상되었다.
• 멀티호프 FuncQA 질문에서 Vicuna-30B의 정확도는 EASYTOOL 적용 시 7.35%에서 11.76%로 상승하여 4.41%포인트 향상되었다.
• ChatGPT의 멀티호프 FuncQA 정확도는 ReAct를 사용한 41.17%에서 EASYTOOL 적용 시 48.53%로 상승하여 7.36%포인트 향상되었다.
• ChatGPT의 도구 오류율은 EASYTOOL 적용 시 FuncQA에서 9.38%에서 2.34%로 감소하여 도구 선택 및 매개변수 사용의 정확도가 향상됨을 시사한다.
• EASYTOOL은 원시 문서 대비 도구 문서에 필요한 토큰 수를 최대 70%까지 줄여 추론 비용을 크게 감소시켰다.
• 프레임워크는 오픈소스 및 프라이버트 LLM 모두에서 RestBench 및 FuncQA를 포함한 다양한 벤치마크에서 일관된 성능 향상을 보였다.