[논문 리뷰] Tool Learning with Large Language Models: A Survey

Changle Qu, Sunhao Dai외 6명|arXiv (Cornell University)|2024. 05. 28.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 종합 검토는 대규모 언어 모델(Large Language Models, LLMs)을 통한 툴 학습에 대한 종합적인 개요를 제공하며, 툴 통합이 LLM의 능력을 어떻게 향상시키는지 체계적으로 분석한다. 이는 환각 현상을 감소시키고 복잡한 추론을 가능하게 하여 성능을 향상시키는 이유를 다루며, 작업 계획, 툴 선택, 툴 호출, 응답 생성의 네 단계 워크플로우를 통해 이를 어떻게 구현하는지 설명한다. 주요 기여는 통합된 분류 체계, 벤치마크 분류, 그리고 열려 있는 과제 식별으로, 연구자와 개발자들이 이 분야에서 기초 자료를 확보할 수 있도록 한다.

ABSTRACT

Recently, tool learning with large language models (LLMs) has emerged as a promising paradigm for augmenting the capabilities of LLMs to tackle highly complex problems. Despite growing attention and rapid advancements in this field, the existing literature remains fragmented and lacks systematic organization, posing barriers to entry for newcomers. This gap motivates us to conduct a comprehensive survey of existing works on tool learning with LLMs. In this survey, we focus on reviewing existing literature from the two primary aspects (1) why tool learning is beneficial and (2) how tool learning is implemented, enabling a comprehensive understanding of tool learning with LLMs. We first explore the "why" by reviewing both the benefits of tool integration and the inherent benefits of the tool learning paradigm from six specific aspects. In terms of "how", we systematically review the literature according to a taxonomy of four key stages in the tool learning workflow: task planning, tool selection, tool calling, and response generation. Additionally, we provide a detailed summary of existing benchmarks and evaluation methods, categorizing them according to their relevance to different stages. Finally, we discuss current challenges and outline potential future directions, aiming to inspire both researchers and industrial developers to further explore this emerging and promising area. We also maintain a GitHub repository to continually keep track of the relevant papers and resources in this rising area at https://github.com/quchangle1/LLM-Tool-Survey.

연구 동기 및 목표

• LLMs를 통한 툴 학습 연구의 산만한 상태를 해결하기 위해 체계적이고 체계적인 종합 개요를 제공하는 것.
• 여섯 가지 구체적 차원에서 툴 통합과 툴 학습 패러다임의 이점을 명확히 하는 것.
• 툴 학습 파이프라인을 작업 계획, 툴 선택, 툴 호출, 응답 생성의 네 핵심 단계로 분해하는 것.
• 각 단계와의 관련성에 따라 기존의 벤치마크 및 평가 방법을 분류하고 요약하는 것.
• 보안, 통합 프레임워크, 실세계 데이터, 다중모달 통합을 포함한 향후 연구 방향을 제안하는 것.

제안 방법

• LLMs를 통한 툴 학습에 관한 약 100편의 논문을 대상으로 체계적인 문헌 리뷰를 수행한다.
• 툴 학습을 위한 네 단계 분류 체계를 도입한다: 작업 계획, 툴 선택, 툴 호출, 응답 생성.
• 워크플로우의 각 단계와의 일치도에 따라 기존의 벤치마크 및 평가 프로토콜을 분류한다.
• 정확도, 추론 능력, 실시간 지식, 툴 다양성, 확장성, 안전성의 여섯 가지 시각에서 툴 학습의 이점을 분석한다.
• 보안 취약성, 실세계 벤치마크 부족, 다중모달 지원 부족과 같은 새로운 과제를 식별하고 논의한다.
• 통합 프레임워크 개발, 실사용자 데이터 수집, 다중모달 툴 학습을 포함한 향후 연구 방향을 제안한다.

실험 결과

연구 질문

• RQ1 왜 툴 학습은 대규모 언어 모델의 능력을 향상시키는 데 유익한가?
• RQ2 툴 학습 과정은 어떻게 체계적으로 별도로 분석 가능한 단계로 분해될 수 있는가?
• RQ3 툴 학습을 위한 현재의 벤치마크와 평가 방법은 무엇이며, 워크플로우 단계에 어떻게 분포되어 있는가?
• RQ4 툴 증강 LLM의 구현과 확장성에 장애가 되고 있는 주요 과제는 무엇인가?
• RQ5 LLMs를 통한 툴 학습을 발전시키기 위해 가장 유망한 향후 연구 방향은 무엇인가?

주요 결과

• 툴 통합은 외부의 실시간 또는 계산이 복잡한 도구에 액세스할 수 있게 하여 LLM의 환각 현상을 크게 감소시키고 사실 정확도를 향상시킨다.
• 작업 계획, 툴 선택, 툴 호출, 응답 생성의 네 단계 워크플로우는 툴 학습을 구현하기 위한 견고하고 체계적인 프레임워크를 제공한다.
• 기존의 벤치마크는 주로 실세계 사용자 상호작용이 아닌 LLM이 생성한 쿼리에 기반하여 만들어져 있어 대표성과 실용적 유용성이 제한된다.
• 모든 네 단계를 통합하는 통합된 툴 학습 프레임워크는 아직 존재하지 않아, 분산되고 확장성이 떨어지는 솔루션들이 지속되고 있다.
• 보안은 여전히 핵심 과제로 남아 있으며, LLM이 툴 사용 시 안전성 인식이 부족하여 시스템이 잠재적 악용 위험에 노출되어 있다.
• 다중모달 툴 학습은 여전히 탐색이 부족한 분야이지만, 시각적 및 청각적 입력을 통해 사용자 의도 이해를 향상시킬 잠재력은 매우 크다.