[论文解读] Flows: Building Blocks of Reasoning and Collaborating AI

Martin Josifoski, Lars Klein+9 more|arXiv (Cornell University)|Aug 2, 2023

Reinforcement Learning in Robotics参考文献 44被引用 4

一句话总结

本文提出了 Flows，一种模块化、基于消息的框架，用于在AI系统中结构化复杂推理与协作，支持自包含计算单元的递归组合。在编程竞赛任务上评估，Flows使纯AI（AI-only）的解题率提升+21分，人类-AI协作（human–AI）的解题率提升+54分，表明系统化、结构化的交互显著提升了泛化能力和性能表现。

ABSTRACT

Recent advances in artificial intelligence (AI) have produced highly capable and controllable systems. This creates unprecedented opportunities for structured reasoning as well as collaboration among multiple AI systems and humans. To fully realize this potential, it is essential to develop a principled way of designing and studying such structured interactions. For this purpose, we introduce the conceptual framework Flows. Flows are self-contained building blocks of computation, with an isolated state, communicating through a standardized message-based interface. This modular design simplifies the process of creating Flows by allowing them to be recursively composed into arbitrarily nested interactions and is inherently concurrency-friendly. Crucially, any interaction can be implemented using this framework, including prior work on AI-AI and human-AI interactions, prompt engineering schemes, and tool augmentation. We demonstrate the potential of Flows on competitive coding, a challenging task on which even GPT-4 struggles. Our results suggest that structured reasoning and collaboration substantially improve generalization, with AI-only Flows adding +21 and human-AI Flows adding +54 absolute points in terms of solve rate. To support rapid and rigorous research, we introduce the aiFlows library embodying Flows. The aiFlows library is available at https://github.com/epfl-dlab/aiflows. Data and Flows for reproducing our experiments are available at https://github.com/epfl-dlab/cc_flows.

研究动机与目标

• 为建模AI系统与人类之间复杂、结构化的交互，解决缺乏原则性、可扩展抽象的问题。
• 实现对基于大语言模型的系统中推理与协作模式的系统性研究，超越临时性控制流。
• 通过计算单元的模块化与隔离，降低多智能体与人-AI工作流设计的复杂度。
• 通过提供标准化基础设施（含日志记录与可组合性），支持严谨、可复现的研究。
• 证明结构化交互模式在复杂推理任务中显著提升泛化能力与性能表现。

提出的方法

• Flows 是自包含、目标驱动的计算单元，具有隔离状态，并通过标准化的消息接口进行通信。
• 原子 Flows 由基本工具（如代码执行、搜索）构建，而复合 Flows 则将多个 Flows 组合为嵌套、分层的交互结构。
• 该框架支持递归组合与异步执行，可实现复杂、动态的工作流。
• aiFlows 库实现了 Flows 抽象，提供定义、组合、日志记录与执行 Flows 的工具。
• 实验采用具有数据泄露控制与方差分析的编程竞赛基准，以评估不同交互模式。
• 反馈机制（包括反思与对齐）被集成到 Flows 中，用于评估优化与协作质量。

实验结果

研究问题

• RQ1 Flows 中结构化的推理与协作模式如何影响复杂推理任务中的泛化能力？
• RQ2 人类在高层推理中的参与对编程竞赛解题性能有何影响？
• RQ3 不同的优化策略（如反思、对齐）如何影响AI生成解决方案的有效性？
• RQ4 Flows 的性能提升在多大程度上依赖于数据污染与模型输出的方差？
• RQ5 Flows 是否可通过递归、异步组合支持元推理与自主行为？

主要发现

• 纯AI（AI-only）的Flows在编程竞赛基准上使解题率提升+21分，证明了结构化推理的优势。
• 人类-AI（human–AI）Flows实现+54分的绝对提升，凸显了人类反馈在高层推理中的显著价值。
• 反思与对齐等优化模式的有效性并非普适，其效果取决于反馈质量与解决方案的对齐程度。
• 数据污染显著影响实验结果，必须严格报告误差范围以确保结论的有效性。
• 问题分解仅在中间步骤质量高且与反馈充分对齐时才有效。
• Flows 框架支持异步、模块化与可组合的工作流，可实现元推理与可扩展的协作。