[论文解读] From Summary to Action: Enhancing Large Language Models for Complex Tasks with Open World APIs

Yulong Liu, Yunlong Yuan+6 more|arXiv (Cornell University)|Feb 28, 2024

Business Process Modeling and AnalysisBusiness, Management and Accounting被引用 3

一句话总结

本文提出 Sum2Act，一种新颖的推理框架，通过两阶段流水线（路由器与状态管理器）集成海量开放世界API，显著提升大语言模型（LLMs）在复杂现实任务中的表现。在每一步中，LLM 会总结先前结果以维持上下文并指导决策，相较于 ReAct 和 DFSDT，在包含 16,000 多个真实世界 API 的 ToolBench 基准测试中性能显著提升。

ABSTRACT

The distinction between humans and animals lies in the unique ability of humans to use and create tools. Tools empower humans to overcome physiological limitations, fostering the creation of magnificent civilizations. Similarly, enabling foundational models like Large Language Models (LLMs) with the capacity to learn external tool usage may serve as a pivotal step toward realizing artificial general intelligence. Previous studies in this field have predominantly pursued two distinct approaches to augment the tool invocation capabilities of LLMs. The first approach emphasizes the construction of relevant datasets for model fine-tuning. The second approach, in contrast, aims to fully exploit the inherent reasoning abilities of LLMs through in-context learning strategies. In this work, we introduce a novel tool invocation pipeline designed to control massive real-world APIs. This pipeline mirrors the human task-solving process, addressing complicated real-life user queries. At each step, we guide LLMs to summarize the achieved results and determine the next course of action. We term this pipeline `from Summary to action', Sum2Act for short. Empirical evaluations of our Sum2Act pipeline on the ToolBench benchmark show significant performance improvements, outperforming established methods like ReAct and DFSDT. This highlights Sum2Act's effectiveness in enhancing LLMs for complex real-world tasks.

研究动机与目标

• 解决现有 LLM 工具使用框架在处理动态、真实世界 API 交互时效率不足的问题。
• 通过持续总结历史结果以保持任务状态的准确感知，提升 LLM 在复杂、开放式任务中的推理能力。
• 通过模仿人类任务解决行为，实现对 API 失败和路径探索的稳健处理，避免错误传播。
• 集成文本和视觉 API（如 SDXL、ControlNet、VQA），支持多模态任务执行。
• 开发一种可扩展、高效的推理流水线，在搜索广度与上下文保真度之间取得平衡，优于基于树结构和思维链的方法。

提出的方法

• Sum2Act 流水线由路由器与状态管理器组成，其中路由器根据当前任务状态和总结的历史信息选择动作。
• 在每一步中，LLM 生成对过去动作与结果的总结，用于指导下一步决策，从而减少上下文长度并提升专注度。
• 状态管理器负责验证动作结果、识别失败原因，并支持反思以纠正错误，防止错误传播。
• 该框架支持对 API 路径的双向探索，避免冗余动作，并防止因失败分支导致的信息遗漏。
• 它集成了来自 ToolBench 基准的多样化真实世界 API，包括 SDXL、ControlNet 和 Blip 等视觉 API，用于图像生成与视觉问答。
• 任务分解为可选步骤，但实证结果表明其增益微乎其微，表明 Sum2Act 的核心优势在于其状态感知推理机制，而非结构化任务分解。

实验结果

研究问题

• RQ1 在复杂、开放世界 API 环境中，对历史结果的持续总结是否能提升 LLM 的推理能力？
• RQ2 与 CoT 和 ReAct 相比，Sum2Act 的状态管理机制在多大程度上减少了错误传播？
• RQ3 Sum2Act 在多大程度上能有效探索多条 API 路径，而不会重复冗余或失败的动作？
• RQ4 与仅使用文本 API 相比，集成视觉 API 是否能提升 LLM 在多模态任务中的表现？
• RQ5 在包含 16,000 多个真实世界 API 的大规模基准测试中，Sum2Act 与 ReAct 和 DFSDT 等成熟方法相比性能如何？

主要发现

• Sum2Act 在 ToolBench 基准测试中优于 ReAct 和 DFSDT，展现出在涉及 16,000 多个 API 及 49 个类别的复杂现实任务中的卓越性能。
• 集成 SDXL、ControlNet 和 Blip 等视觉 API 使模型能够高效执行高级图像生成、编辑与视觉问答任务。
• 任务分解仅带来 Pass Rate 和 Win Rate 的微小提升，表明 Sum2Act 的核心推理机制比结构化任务分解更具影响力。
• 状态管理器中的反思与失败分析能力使模型能够识别并纠正错误，从而在复杂工作流中保持对任务状态的准确感知。
• 通过总结机制，Sum2Act 在保持关键信息的同时有效控制上下文长度，支持在长周期、多步骤任务中持续推理。
• 该框架能够成功处理动态 API 响应，并在不重复失败动作的前提下探索多条路径，展现出在开放世界环境中的强大鲁棒性。