[논문 리뷰] ToolkenGPT: Augmenting Frozen Language Models with Massive Tools via Tool Embeddings

Shibo Hao, Tianyang Liu외 2명|arXiv (Cornell University)|2023. 05. 19.

Topic Modeling인용 수 19

한 줄 요약

ToolkenGPT는 각 도구를 임베드 가능한 토큰(toolken)으로 간주함으로써 동결된 LLM이 방대한 도구 세트를 숙련하도록 하며, LLM 미세조정 없이도 즉시 도구 호출이 가능하고 임베딩용 방대한 시연 데이터가 제공됩니다.

ABSTRACT

Augmenting large language models (LLMs) with external tools has emerged as a promising approach to solving complex problems. However, traditional methods, which finetune LLMs with tool demonstration data, can be both costly and restricted to a predefined set of tools. Recent in-context learning paradigm alleviates these issues, but the limited context length only allows for a few shots of demonstrations, leading to suboptimal understandings of the tools. Moreover, when there are numerous tools to choose from, in-context learning could completely fail to work. In this paper, we propose an alternative approach, $ extbf{ToolkenGPT}$, which combines the benefits of both sides. Our approach represents each $\underline{tool}$ as a to$\underline{ken}$ ($ extit{toolken}$) and learns an embedding for it, enabling tool calls in the same way as generating a regular word token. Once a toolken is triggered, the LLM is prompted to complete arguments for the tool to execute. ToolkenGPT offers the flexibility to plug in an arbitrary number of tools by expanding the set of toolkens on the fly. In addition, it improves tool use by allowing extensive demonstration data for learning the toolken embeddings. In diverse domains, including numerical reasoning, knowledge-based question answering, and embodied plan generation, our approach effectively augments LLMs with tools and substantially outperforms various latest baselines. ToolkenGPT demonstrates the promising ability to use relevant tools from a large tool set in complex scenarios.

연구 동기 및 목표

• LLM이 모델을 미세조정하지 않고도 외부 도구의 대규모 세트를 호출할 수 있도록 한다.
• 도구를 학습 가능한 임베딩을 가진 토큰(toolkens)으로 표현한다.
• 도구ken 어휘를 확장하여 새로운 도구에 대한 즉시 확장을 허용한다.
• 도구 시연을 대폭 활용하여 임베딩 학습을 강화한다.
• 수치 추론, 지식 QA, 구현 계획 등에서 성능 향상을 입증한다.

제안 방법

• 각 도구를 토큰(toolken)으로 표현하고 도구ken 임베딩 매트릭스 W_tau를 학습한다.
• 도구ken 임베딩을 표준 단어 임베딩과 연결하여 V ∪ T에 대한 다음 토큰 예측을 가능하게 한다.
• 모드 전환을 도입한다: 도구ken이 예측되면 도구 모드로 전환하여 시연을 통해 도구 인수를 완성한다.
• 도구 호출을 실행하고 출력물을 추론 스트림에 다시 투입하여 생성 생성을 계속한다.
• 도구ken 임베딩만 학습하고 LLM은 동결된 상태를 유지하여 새로운 도구에 효율적으로 적응한다.
• 가능하다면 시연을 합성하거나 실제 도구 호출을 사용하여 감독용 페어 학습 데이터를 생성한다.

실험 결과

연구 질문

• RQ1 ToolkenGPT가 LLM을 미세조정하지 않으면서도 대규모 도구 세트를 숙달할 수 있는가?
• RQ2 광범위한 도구 시연으로부터 도구ken 임베딩을 얼마나 효과적으로 학습할 수 있는가?
• RQ3 ToolkenGPT가 컨텍스트 내 도구 학습에서 우수한 성능을 보이고 도구가 많아질수록 확장성이 더 나은가?
• RQ4 수치 추론, 지식 기반 QA, 구현 계획 도메인에 걸친 도구를 이 접근법이 다룰 수 있는가?

주요 결과

• ToolkenGPT는 작은 산술 도구 세트로도 컨텍스트 내 도구 학습에 비견되거나 이를 능가하며 더 큰 도구 세트로 확장된다.
• 도구ken 어휘를 최소한의 학습 비용으로 확장하여 임의의 새로운 도구를 연결하는 것이 가능하다.
• 광범위한 시연에서 학습된 Toolken 임베딩은 도구 사용과 문제 해결 능력을 다양한 도메인에서 향상시킨다.
• 도구 모드 동안 도구별 시연을 활용하여 타당한 도구 인수를 생성한다.
• 실험에서 수치 추론, 지식 기반 QA, 구현 계획 생성에서 기준선 대비 성능이 향상되었다.