[論文レビュー] From Summary to Action: Enhancing Large Language Models for Complex Tasks with Open World APIs

Yulong Liu, Yunlong Yuan+6 more|arXiv (Cornell University)|Feb 28, 2024

Business Process Modeling and AnalysisBusiness, Management and Accounting被引用数 3

ひとこと要約

本論文では、ルーターとステートマネージャーからなる2段階パイプラインを用いて、膨大なオープンワールドAPIを統合することで、大規模言語モデル（LLMs）の複雑な現実世界タスクにおける性能を向上させる、新しい推論フレームワークSum2Actを提案する。各ステップでLLMは過去の結果を要約して文脈を維持し、意思決定を支援する。ToolBenchベンチマーク（16,000以上の現実世界APIを含む）において、ReAct や DFSDT よりも顕著に優れた性能を示している。

ABSTRACT

The distinction between humans and animals lies in the unique ability of humans to use and create tools. Tools empower humans to overcome physiological limitations, fostering the creation of magnificent civilizations. Similarly, enabling foundational models like Large Language Models (LLMs) with the capacity to learn external tool usage may serve as a pivotal step toward realizing artificial general intelligence. Previous studies in this field have predominantly pursued two distinct approaches to augment the tool invocation capabilities of LLMs. The first approach emphasizes the construction of relevant datasets for model fine-tuning. The second approach, in contrast, aims to fully exploit the inherent reasoning abilities of LLMs through in-context learning strategies. In this work, we introduce a novel tool invocation pipeline designed to control massive real-world APIs. This pipeline mirrors the human task-solving process, addressing complicated real-life user queries. At each step, we guide LLMs to summarize the achieved results and determine the next course of action. We term this pipeline `from Summary to action', Sum2Act for short. Empirical evaluations of our Sum2Act pipeline on the ToolBench benchmark show significant performance improvements, outperforming established methods like ReAct and DFSDT. This highlights Sum2Act's effectiveness in enhancing LLMs for complex real-world tasks.

研究の動機と目的

• 動的で現実世界のAPI連携を効果的に管理できない既存のLLMツール利用フレームワークの限界を解消すること。
• 歴史的結果の継続的要約を通じて、正確なタスクステート認識を維持することにより、複雑でオープンエンドなタスクにおけるLLMの推論を向上させること。
• エラー伝搬を防ぐために、人間のタスク解決行動にインspiredした、APIの障害とパス探索の強力な対処を可能にすること。
• テキストベースと視覚的API（例：SDXL、ControlNet、VQA）を統合し、マルチモーダルタスク実行を可能にすること。
• 探索の幅と文脈の正確性のバランスを取るスケーラブルで効率的な推論パイプラインを構築し、ツリー型やチェーン・オブ・トゥークン（CoT）手法を凌駕すること。

提案手法

• Sum2Actパイプラインは、ルーターとステートマネージャーから構成され、ルーターは現在のタスクステートと要約された履歴に基づいてアクションを選択する。
• 各ステップでLLMは過去のアクションと結果の要約を生成し、これにより次の意思決定が行われる。これにより文脈長が短縮され、焦点が高まる。
• ステートマネージャーはアクション結果の検証、障害原因の特定、エラー訂正のためのリフレクションを可能にし、エラー伝搬を防止する。
• フレームワークはAPIパスの多方向的探索を可能にし、重複するアクションや失敗したパスからの情報漏れを回避する。
• SDXL、ControlNet、Blipなどの視覚APIを含む、ToolBenchベンチマークの多様な現実世界APIを統合する。
• タスク分解はオプションとして適用可能だが、実証結果ではわずかな向上にとどまり、コアフレームワークの強みが構造的タスク分解ではなく、ステート認識推論にあり得ることを示している。

実験結果

リサーチクエスチョン

• RQ1 継続的な履歴結果の要約は、複雑でオープンワールドのAPI環境におけるLLM推論を改善できるか？
• RQ2 Sum2Actのステート管理メカニズムは、CoT や ReAct と比較してエラー伝搬をどの程度低減できるか？
• RQ3 重複や失敗したアクションの繰り返しを避けながら、Sum2Actは複数のAPIパスをどの程度効果的に探索できるか？
• RQ4 視覚APIの統合は、テキストのみのAPI利用と比較して、マルチモーダルタスクにおけるLLM性能を向上させるか？
• RQ5 16,000以上の現実世界APIを含む大規模ベンチマークにおいて、Sum2ActはReAct や DFSDT といった既存手法と比較してどの程度の性能を示すか？

主な発見

• Sum2Actは、ToolBenchベンチマークでReAct や DFSDT を上回り、49のカテゴリにまたがる16,000以上のAPIを含む複雑な現実世界タスクの処理において優れた性能を示している。
• SDXL、ControlNet、Blipなどの視覚APIの統合により、モデルは高度な画像生成、編集、視覚的質問応答タスクを効果的に行えるようになった。
• タスク分解の適用はパスレートおよびウィンレートにおいてわずかな向上しかもたらさないため、Sum2Actのコア推論メカニズムが構造的タスク分解よりもはるかに大きな影響を与えていることが示唆される。
• ステートマネージャー内に実装されたリフレクションと障害分析機能により、エラーを特定・是正でき、複雑なワークフロー全体にわたり正確なタスクステート認識を維持できる。
• 要約による文脈長の管理を維持しつつも、重要な情報を保持することで、長時間にわたる複数ステップの推論を継続可能にしている。
• 動的API応答を効果的に処理し、失敗したアクションの繰り返しを避けながら複数のパスを探索する能力を示しており、オープンワールド環境における堅牢性を実証している。