[論文レビュー] ToolNet: Connecting Large Language Models with Massive Tools via Tool Graph

Xukun Liu, Zhiyuan Peng+5 more|arXiv (Cornell University)|Feb 29, 2024

Semantic Web and Ontologies被引用数 4

ひとこと要約

ToolNetは、数千のツールを重み付き遷移を持つ有向グラフに整理するプラグアンドプレイフレームワークを提案する。これにより、大規模言語モデル（LLMs）は段階的に効率的にツールをナビゲート・選択できる。ツールのパフォーマンスに基づいて遷移重みを動的に更新することで、推論の効率性と頑健性が向上し、文脈内学習ベースラインと比較して、マルチホップツール学習ベンチマークで最大2.6倍のトークン効率向上と優れた性能を達成した。

ABSTRACT

While achieving remarkable progress in a broad range of tasks, large language models (LLMs) remain significantly limited in properly using massive external tools. Existing in-context learning approaches simply format tools into a list of plain text descriptions and input them to LLMs, from which, LLMs generate a sequence of tool calls to solve problems step by step. Such a paradigm ignores the intrinsic dependency between tools and offloads all reasoning loads to LLMs, making them restricted to a limited number of specifically designed tools. It thus remains challenging for LLMs to operate on a library of massive tools, casting a great limitation when confronted with real-world scenarios. This paper proposes ToolNet, a plug-and-play framework that scales up the number of tools to thousands with a moderate increase in token consumption. ToolNet organizes tools into a directed graph. Each node represents a tool, and weighted edges denote tool transition. Starting from an initial tool node, an LLM navigates in the graph by iteratively choosing the next one from its successors until the task is resolved. Extensive experiments show that ToolNet can achieve impressive results in challenging multi-hop tool learning datasets and is resilient to tool failures.

研究の動機と目的

• 高コストのトークン消費と劣悪なツール選択により、大規模なツールライブラリに対応できない既存の文脈内学習手法のスケーラビリティ制限を解消すること。
• ツールの依存関係を有向グラフ構造でモデル化することで、LLMsが数千のツールを効率的にナビゲート・推論できるようにすること。
• ツールグラフにフィードバック駆動の適応的遷移重みを組み込むことで、ツール選択の正確性と低品質ツールへの耐性を向上させること。
• 高価な微調整に依存せず、多様で進化を続けるツールリポジトリにわたる強力な一般化性能を維持すること。
• 軽量でプラグアンドプレイなメカニズムにより、新規ツールの迅速統合と更新されたツールへの適応を可能にすること。

提案手法

• ToolNetは、各ノードがツールを表し、観察された使用パターンに基づいて潜在的な遷移を示す重み付きエッジを持つ有向ツールグラフを構築する。
• フレームワークは文脈内学習を用いて、現在のノードの出力エッジから次のツールを選択するのをLLMにガイドし、全ツールリストのプロptを避けることでトークン消費を削減する。
• 評価モジュールは各ツール呼び出しをプローブし、その効果をスコア化し、パフォーマンスの良いツールを優遇し、低品質なツールを抑制するようにグラフ内の遷移重みを更新する。
• 遷移重みは整数やスケーリング値などの構造化フォーマットで符号化され、LLMのパフォーマンス差への感受性が向上し、×10スケーリングで最適なパフォーマンスが観察された。
• システムは動的適応をサポート：新しいツールが追加されたり、既存のツールが更新されたりしても、LLMの再トレーニングなしにグラフを段階的に変更可能である。
• APIBankおよびToolBenchで評価され、ツール障害に対しても頑健であり、数千のツールへのスケーラビリティを示した。

実験結果

リサーチクエスチョン

• RQ1 LLMsが高コストのトークン消費を伴わずに、大規模なツールライブラリから効率的にナビゲート・選択できるようになる方法は何か？
• RQ2 ツール遷移パターンをスパarsな有向グラフとしてモデル化することで、推論の効率性とスケーラビリティが向上するか？
• RQ3 LLMsはツールパフォーマンスのフィードバックに応じて、ツール選択戦略をどのように適応的に変更できるか？
• RQ4 異なる重み表現フォーマット（例：整数 vs. 小数）がLLMのパフォーマンスとトークン効率に与える影響は何か？
• RQ5 プラグアンドプレイフレームワークは、再トレーニングなしに新規ツールを動的に統合し、進化を続けるツールリポジトリに適応できるか？

主な発見

• ToolNetは、マルチホップツール学習ベンチマークにおいて、標準的な文脈内学習ベースラインと比較して最大2.6倍のトークン効率向上を達成した。
• 遷移重みスケーリングが×10で飽和し、このレベルでパフォーマンス差への感受性が最適化されていることが示された。
• 重みを小数に変更または縮小すると性能が著しく低下し、LLM推論における適切な重みフォーマットの重要性が浮き彫りになった。
• フレームワークはツール障害に対しても耐性を示し、低品質ツールを抑制するフィードバック駆動の重み更新により性能が向上した。
• 遷移重みをスケーリングアップするにつれてトークン消費が減少し、ツール学習システムにおける最適化の可能性が示唆された。
• 複雑なマルチタスクデータセット（例：ToolBench）においても強力なパフォーマンスを維持し、既存のプロptベースおよび微調整アプローチを上回るスケーラビリティと適応性を示した。