[논문 리뷰] Tool Learning with Foundation Models

Yujia Qin, Shengding Hu외 39명|arXiv (Cornell University)|2023. 04. 17.

Mobile Crowdsensing and Crowdsourcing인용 수 29

한 줄 요약

본 논문은 기초 모델과 도구 학습에 대한 일반 프레임워크를 제시하고, 배경 및 기존 연구를 조사하며, 18 tools를 이용한 실험으로 검증하고, 도전 과제와 향후 방향을 강조합니다.

ABSTRACT

Humans possess an extraordinary ability to create and utilize tools, allowing them to overcome physical limitations and explore new frontiers. With the advent of foundation models, AI systems have the potential to be equally adept in tool use as humans. This paradigm, i.e., tool learning with foundation models, combines the strengths of specialized tools and foundation models to achieve enhanced accuracy, efficiency, and automation in problem-solving. Despite its immense potential, there is still a lack of a comprehensive understanding of key challenges, opportunities, and future endeavors in this field. To this end, we present a systematic investigation of tool learning in this paper. We first introduce the background of tool learning, including its cognitive origins, the paradigm shift of foundation models, and the complementary roles of tools and models. Then we recapitulate existing tool learning research into tool-augmented and tool-oriented learning. We formulate a general tool learning framework: starting from understanding the user instruction, models should learn to decompose a complex task into several subtasks, dynamically adjust their plan through reasoning, and effectively conquer each sub-task by selecting appropriate tools. We also discuss how to train models for improved tool-use capabilities and facilitate the generalization in tool learning. Considering the lack of a systematic tool learning evaluation in prior works, we experiment with 18 representative tools and show the potential of current foundation models in skillfully utilizing tools. Finally, we discuss several open problems that require further investigation for tool learning. In general, we hope this paper could inspire future research in integrating tools with foundation models.

연구 동기 및 목표

• 도구 사용과 기초 모델의 인지적 및 패러다임적 배경을 소개한다.
• 도구, 환경, 컨트롤러, 지각기(perceiver)를 통합하는 일반적인 도구 학습 프레임워크를 정식화한다.
• 기존 도구 학습 연구를 검토하고 핵심 문제와 해결책을 식별한다.
• 18 tools를 통해 기초 모델의 다양한 도구 사용 잠재력을 입증한다.
• 안전하고 확장 가능하며 개인화된 도구 학습의 미해결 문제와 향후 방향을 논의한다.

제안 방법

• 도구 집합, 환경, 컨트롤러(기초 모델), 그리고 지각기 네 가지 구성요소를 갖는 통합된 도구 학습 프레임워크를 정의한다.
• 사용자 의도에서 실행 가능한 계획 및 도구 실행까지의 일반적인 절차를 설명한다.
• 시연으로부터 학습하고 피드백으로부터 학습하는 학습 전략을 개요한다.
• 다중 도구 상호 작용을 위한 표준화된 인터페이스를 통해 일반화 가능한 도구 학습을 논의한다.
• 현재 기초 모델이 도구를 활용하는 능력을 평가하기 위해 대표적인 18개의 도구를 대상으로 실험한다.

실험 결과

연구 질문

• RQ1 다양한 도구에 걸쳐 도구 사용을 학습하고 조정하기 위해 기초 모델을 어떻게 구조화할 수 있는가?
• RQ2 기초 모델의 견고하고 일반화 가능한 도구 사용을 가능하게 하는 학습 전략은 무엇인가?
• RQ3 최신 기초 모델이 실제 작업에서 광범위한 도구를 효과적으로 활용할 수 있는 정도는 어느 정도인가?
• RQ4 기초 모델과 함께 도구 학습을 배치할 때의 주요 도전 과제(안전성, 개인화, 도구 생성)는 무엇인가?
• RQ5 하나의 통합 인터페이스가 새로운 도구 및 맥락으로 도구 사용 기술을 이전하는 데 어떻게 도움이 될 수 있는가?

주요 결과

• 기초 모델(예: ChatGPT)은 단순한 프롬프트로도 도구를 효과적으로 사용하여 작업을 해결할 수 있다.
• 일반적인 도구 학습 프레임워크는 도구, 환경, 모델 간의 상호 작용을 통합할 수 있다.
• 시연과 피드백으로부터의 학습 전략이 도구 사용 능력을 향상시키는 핵심이다.
• 18개의 도구에 걸친 실험은 도구 조작에서 현재 기초 모델의 잠재력과 한계를 보여준다.
• 본 논문은 안전성, 도구 생성, 개인화, 복잡한 시스템에서의 배포를 포함한 주요 개방 문제를 지적한다.