[논문 리뷰] ToolNet: Connecting Large Language Models with Massive Tools via Tool Graph

Xukun Liu, Zhiyuan Peng외 5명|arXiv (Cornell University)|2024. 02. 29.

Semantic Web and Ontologies인용 수 4

한 줄 요약

ToolNet는 가중치가 부여된 간선을 가진 방향성 그래프로 수천 개의 도구를 조직화하는 플러그 앤 플레이 프레임워크를 제안한다. 이는 대규모 언어 모델(Large Language Models, LLMs)이 단계적으로 도구를 효율적으로 탐색하고 선택할 수 있도록 한다. 도구 성능에 기반해 전환 가중치를 동적으로 업데이트함으로써 ToolNet은 추론 효율성과 견고성을 향상시키며, 인라인 컨텍스트 학습 기반선과 비교해 최대 2.6배 높은 토큰 효율성과 다단계 도구 학습 벤치마크에서 뛰어난 성능을 달성한다.

ABSTRACT

While achieving remarkable progress in a broad range of tasks, large language models (LLMs) remain significantly limited in properly using massive external tools. Existing in-context learning approaches simply format tools into a list of plain text descriptions and input them to LLMs, from which, LLMs generate a sequence of tool calls to solve problems step by step. Such a paradigm ignores the intrinsic dependency between tools and offloads all reasoning loads to LLMs, making them restricted to a limited number of specifically designed tools. It thus remains challenging for LLMs to operate on a library of massive tools, casting a great limitation when confronted with real-world scenarios. This paper proposes ToolNet, a plug-and-play framework that scales up the number of tools to thousands with a moderate increase in token consumption. ToolNet organizes tools into a directed graph. Each node represents a tool, and weighted edges denote tool transition. Starting from an initial tool node, an LLM navigates in the graph by iteratively choosing the next one from its successors until the task is resolved. Extensive experiments show that ToolNet can achieve impressive results in challenging multi-hop tool learning datasets and is resilient to tool failures.

연구 동기 및 목표

• 높은 토큰 소비와 도구 선택의 열악함으로 인해 대규모 도구 라이브러리에서 어려움을 겪는 기존 인라인 컨텍스트 학습 방법의 확장성 한계를 해결하기 위해.
• 도구 간 의존 관계를 방향성 그래프 구조로 모델링하여 LLM이 수천 개의 도구를 효율적으로 탐색하고 추론할 수 있도록 하기 위해.
• 도구 그래프에 피드백 기반의 적응형 전이 가중치를 통합함으로써 도구 선택 정확도를 향상시키고 저품질 도구에 대한 내성력을 높이기 위해.
• 비용이 많이 드는 미세조정에 의존도를 줄이면서도 다양한 변화가 있는 도구 레포지터리 전반에서 강력한 일반화 성능을 유지하기 위해.
• 경량의 플러그 앤 플레이 메커니즘을 통해 새로운 도구를 신속하게 통합하고 업데이트된 도구에 적응할 수 있도록 하기 위해.

제안 방법

• ToolNet은 각 노드가 도구를 나타내고, 관측된 사용 패턴에 기반해 잠재적 전이를 나타내는 가중치가 부여된 간선을 가진 방향성 도구 그래프를 구성한다.
• 이 프레임워크는 LLM이 현재 노드의 출력 간선에서 후속 도구를 선택하도록 유도하기 위해 인라인 컨텍스트 학습을 사용하며, 이로 인해 전체 도구 목록 프ompting을 피함으로써 토큰 소비를 줄인다.
• 평가자 모듈은 각 도구 호출을 탐색하고, 그 효과성을 평가하며, 성능이 좋은 도구를 우선시하고 저품질 도구를 억제하기 위해 그래프 내 전이 가중치를 업데이트한다.
• 전이 가중치는 정수 또는 스케일된 값과 같은 구조화된 형식으로 인코딩되어 LLM이 성능 차이에 더 민감하게 반응하도록 하며, ×10 스케일링에서 최적의 성능을 관찰했다.
• 시스템은 동적 적응을 지원한다: 새로운 도구가 추가되거나 기존 도구가 업데이트되면 LLM의 재학습 없이도 그래프를 점진적으로 수정할 수 있다.
• 이 방법은 APIBank와 ToolBench에서 평가되었으며, 도구 실패에 대한 강건성과 수천 개의 도구로의 확장성에서 뛰어난 성능을 보였다.

실험 결과

연구 질문

• RQ1 어떻게 하면 LLM이 금전적 토큰 비용이 과도하게 발생하는 것을 방지하면서도 대규모 도구 라이브러리에서 효율적으로 도구를 탐색하고 선택할 수 있는가?
• RQ2 도구 전이 패턴을 희박한 방향성 그래프로 모델링할 수 있는가? 이는 추론 효율성과 확장성 향상에 기여하는가?
• RQ3 LLM은 도구 성능에 대한 피드백에 기반해 도구 선택 전략을 어떻게 조정할 수 있는가?
• RQ4 다른 가중치 표현 형식(예: 정수 vs. 소수)은 LLM의 성능과 토큰 효율성에 어떤 영향을 미치는가?
• RQ5 플러그 앤 플레이 프레임워크는 재학습 없이도 새로운 도구를 동적으로 통합하고 변화하는 도구 레포지터리에 적응할 수 있는가?

주요 결과

• ToolNet은 다단계 도구 학습 벤치마크에서 표준 인라인 컨텍스트 학습 기반선 대비 최대 2.6배 높은 토큰 효율성을 달성한다.
• 전이 가중치 스케일링이 ×10에서 성능 포화 상태에 도달하며, 이 수준에서 성능 차이에 대한 최적의 민감도를 보인다.
• 가중치를 제거하거나 소수로 스케일링하면 성능이 크게 떨어지며, 이는 LLM 추론에 있어 적절한 가중치 포맷팅의 중요성을 강조한다.
• 이 프레임워크는 도구 장애에 대한 강건성을 보이며, 저품질 도구를 억제하는 피드백 기반 가중치 업데이트를 통해 성능 향상을 이룬다.
• 전이 가중치가 증가할수록 토큰 소비가 감소함을 확인했으며, 이는 도구 학습 시스템의 잠재적 최적화 경로를 시사한다.
• 복잡한 다중 작업 데이터셋인 ToolBench에서도 강력한 성능을 유지하며, 확장성과 적응성 면에서 기존 프ompt 기반 및 미세조정 기반 접근 방식을 능가한다.