[论文解读] Data-Copilot: Bridging Billions of Data and Humans with Autonomous Workflow

Wenqi Zhang, Yongliang Shen+4 more|arXiv (Cornell University)|Jun 12, 2023

Data Quality and Management被引用 10

一句话总结

Data-Copilot 是一个基于 LLM 的系统，能够在没有人类帮助的情况下自主设计界面并调度工作流来管理、处理和可视化庞大异构数据。

ABSTRACT

Industries such as finance, meteorology, and energy generate vast amounts of data daily. Efficiently managing, processing, and displaying this data requires specialized expertise and is often tedious and repetitive. Leveraging large language models (LLMs) to develop an automated workflow presents a highly promising solution. However, LLMs are not adept at handling complex numerical computations and table manipulations and are also constrained by a limited context budget. Based on this, we propose Data-Copilot, a data analysis agent that autonomously performs querying, processing, and visualization of massive data tailored to diverse human requests. The advancements are twofold: First, it is a code-centric agent that receives human requests and generates code as an intermediary to handle massive data, which is quite flexible for large-scale data processing tasks. Second, Data-Copilot involves a data exploration phase in advance, which explores how to design more universal and error-free interfaces for real-time response. Specifically, it actively explores data sources, discovers numerous common requests, and abstracts them into many universal interfaces for daily invocation. When deployed in real-time requests, Data-Copilot only needs to invoke these pre-designed interfaces, transforming raw data into visualized outputs (e.g., charts, tables) that best match the user's intent. Compared to generating code from scratch, invoking these pre-designed and compiler-validated interfaces can significantly reduce errors during real-time requests. Additionally, interface workflows are more efficient and offer greater interpretability than code. We open-sourced Data-Copilot with massive Chinese financial data, such as stocks, funds, and news, demonstrating promising application prospects.

研究动机与目标

• 在跨领域有效处理庞大异构数据的需求进行动机阐述。
• 提出一个基于 LLM 的系统，用于设计和部署自主数据管理界面。
• 通过自设计的工作流实现端到端的数据处理、分析、预测和可视化。
• 在中国金融领域展示一个 demonstrator 以验证该方法。

提出的方法

• 界面设计：使用自请求过程生成多样化的数据相关界面（数据获取、处理、预测、可视化、DataFrame 操作），以自然语言和代码描述并离线迭代完善。
• 界面合并：合并相似界面以创建通用化工具，形成紧凑、可重用的界面库。
• 界面实现：从 refined 描述中生成每个界面的实现代码，使其能够在各平台上实现可扩展部署。
• 界面调度：解析用户意图，使用自设计界面规划多步工作流，并以实时的顺序、并行或循环结构派发。
• 离线设计 vs 在线派发：将离线界面设计与在线界面派发分离，以将原始数据转化为用户友好的输出。
• 多形式输出：输出图形、表格与文本摘要，并附带工作流回顾以提高透明度。

实验结果

研究问题

• RQ1 LLM 如何在自治设计多功能界面的同时管理、处理、分析、预测和可视化大规模异构数据？
• RQ2 基于 LLM 的系统能否实时规划并派发复杂工作流以满足跨数据领域的多样性用户请求？
• RQ3 自设计界面在多大程度上能处理来自多个来源（如股票、基金、经济、新闻）并以多种格式呈现结果？
• RQ4 一个完全自治、界面驱动的数据工作流系统存在哪些局限性和稳定性问题？

主要发现

• Data-Copilot 能自主设计数据接口库并合并相似工具以泛化功能。
• 它可以派发计划中的工作流，在并行、顺序或循环结构中执行数据获取、处理、预测和可视化。
• 该系统支持多形式输出（图形、表格、文本），并提供工作流摘要以提高透明度。
• 一个使用中国金融数据的演示样例显示可访问股票、基金、经济数据、实时新闻以及各种可视化。
• 实验表明在设计阶段使用 GPT-4、派发阶段使用 GPT-3.5 Turbo 进行规划与执行，结果具备实时可视化能力。