[論文レビュー] ControlLLM: Augment Language Models with Tools by Searching on Graphs

Zhaoyang Liu, Zeqiang Lai+9 more|arXiv (Cornell University)|Oct 26, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

ControlLLMは、事前に構築されたツール依存性グラフ上で最適な解決経路を探索するThoughts-on-Graph（ToG）パラダイムを用いて、視覚、音声、動画を含む多様なモダリティを扱う複雑な現実世界のタスクにおいて、大規模言語モデル（LLMs）のマルチモーダルツール制御を強化するグラフベースの推論フレームワークを導入する。タスク計画とLLM推論を分離することで、幻覚を低減し、スケーラブルなツール統合を可能にし、ベンチマーク指標において優れたパフォーマンスを達成する。

ABSTRACT

We present ControlLLM, a novel framework that enables large language models (LLMs) to utilize multi-modal tools for solving complex real-world tasks. Despite the remarkable performance of LLMs, they still struggle with tool invocation due to ambiguous user prompts, inaccurate tool selection and parameterization, and inefficient tool scheduling. To overcome these challenges, our framework comprises three key components: (1) a extit{task decomposer} that breaks down a complex task into clear subtasks with well-defined inputs and outputs; (2) a extit{Thoughts-on-Graph (ToG) paradigm} that searches the optimal solution path on a pre-built tool graph, which specifies the parameter and dependency relations among different tools; and (3) an extit{execution engine with a rich toolbox} that interprets the solution path and runs the tools efficiently on different computational devices. We evaluate our framework on diverse tasks involving image, audio, and video processing, demonstrating its superior accuracy, efficiency, and versatility compared to existing methods. The code is at https://github.com/OpenGVLab/ControlLLM.

研究の動機と目的

• 既存のLLMベースのツール起動手法が直面する幻覚、不適切なツール選択、複雑なマルチモーダルタスクにおける非効率なスケジューリングの制限を解消すること。
• タスク計画中にLLMが直面するトークン制限および推論制限を克服するため、解決経路探索を事前に構築されたツールグラフにオフロードすること。
• LLMの再トレーニングやプロンプト工学を必要とせず、動的ツールグラフを維持することで、新しいツールのスケーラブルでモジュラーな統合を可能にすること。
• 依存性グラフ上の構造的でトポロジーに配慮した計画により、ツール選択、引数割り当て、解決実行を改善すること。
• マルチモーダルLLMアプリケーションにおけるツール選択、引数の一貫性、解決効果性を評価するための包括的ベンチマークと指標を提供すること。

提案手法

• タスク分解器は、モジュラー処理を可能にするために、入力、出力、ドメイン属性を明確に定義したサブタスクに複雑なユーザープロンプトを分解する。
• Thoughts-on-Graph（ToG）パラダイムは、ツール間の依存関係と関係性をエンコードした事前に構築されたツールグラフ上で探索を行い、各サブタスクに対して最適な経路を発見する。
• ツールグラフは機能的関係とインターフェース仕様から構築され、ノードがツールを表し、エッジがデータフローと依存制約を表す。
• 実行エンジンはToGからの解決経路を解釈し、可能な限り並列でツールを起動し、多様な計算デバイス間での入出力ルーティングを管理する。
• 包括的なツールボックスはローカルおよびクラウドベースのツールを統合し、マルチモーダル入力（画像、音声、動画）をサポートし、フィードバック駆動の効率的実行を可能にする。
• BFS、DFS、A*などの探索戦略をツールグラフに適用して実行可能な解決経路を探索し、最適経路がユーザーの好みを満たさない場合にはフォールバックを実施する。

Figure 1 : Comparisons of different paradigms for task planning. (a) Chain of Thought (CoT) [ 41 ] , CoT with self-consistency [ 40 ] and (b) Tree of Thoughts [ 47 ] (ToT) essentially rely on the LLMs to perform task planning, where the edge is actually formed by LLMs at run time. (c) The Thoughts-o

実験結果

リサーチクエスチョン

• RQ1 グラフベースの推論フレームワークは、自己回帰的プロンプティングやチェーン・オブ・トゥキャスト（CoT）手法と比較して、ツール起動における幻覚を低減できるか？
• RQ2 ToGは、複雑なマルチモーダルタスクと複雑なツール依存関係を伴う状況において、従来のCoTやTree-of-Thoughtsと比較して、どのように性能を発揮するか？
• RQ3 LLMの再トレーニングを伴わずに、大規模なツールボックスにスケーリングしても、高い正確性と効率を維持できるか？
• RQ4 マルチモーダルツール実行における引数割り当ての一貫性とリソース幻覚は、このフレームワークがどの程度効果的に処理できるか？
• RQ5 このフレームワークは、画像、音声、動画といった多様なモダリティおよびタスクタイプに一般化可能であり、解決品質を維持できるか？

主な発見

• ControlLLMはマルチモーダルベンチマークで92.3%の解決評価（SE）率を達成し、複雑な現実世界のタスクを解く点でベースライン手法を顕著に上回る。
• 必須ツールの包含率（NR）は94.1%に達し、タスク完了に不可欠なツールを特定する強力な能力を示している。
• リソース幻覚率（HR）は8.7%にまで低減され、LLMが生成する誤った引数の効果的な抑制が確認された。
• リソースタイプの一貫性率（CR）は96.4%に達し、入力タイプとツール要件との正確な整合性が保証されたことを裏付けている。
• LLMからの推論をグラフ走査に移行することで、計画段階におけるトークン消費量を削減し、スケーラブルで効率的な解決経路探索を可能にした。
• 事例研究では、ToGが画像、動画、音声モダリティを横断する複数のツールを含む複雑で非線形な解決経路を効果的に発見でき、高度なマルチモーダル相互作用を実現した。

Figure 2 : System design of ControlLLM. The framework consists of three stages. The first stage is task decomposition, which parses the user input into several subtasks. Then, in Stage 2, ToG utilizes a depth-first search algorithm to find the optimal solution for each subtask. The execution engine