[論文レビュー] Data-Copilot: Bridging Billions of Data and Humans with Autonomous Workflow

Wenqi Zhang, Yongliang Shen+4 more|arXiv (Cornell University)|Jun 12, 2023

Data Quality and Management被引用数 10

ひとこと要約

tldr: Data-Copilot は、LLMベースのシステムで、UIを自律的に設計し、ワークフローをディスパッチして、大規模で異種のデータを人間の介在なしに管理・処理・可視化します。

ABSTRACT

Industries such as finance, meteorology, and energy generate vast amounts of data daily. Efficiently managing, processing, and displaying this data requires specialized expertise and is often tedious and repetitive. Leveraging large language models (LLMs) to develop an automated workflow presents a highly promising solution. However, LLMs are not adept at handling complex numerical computations and table manipulations and are also constrained by a limited context budget. Based on this, we propose Data-Copilot, a data analysis agent that autonomously performs querying, processing, and visualization of massive data tailored to diverse human requests. The advancements are twofold: First, it is a code-centric agent that receives human requests and generates code as an intermediary to handle massive data, which is quite flexible for large-scale data processing tasks. Second, Data-Copilot involves a data exploration phase in advance, which explores how to design more universal and error-free interfaces for real-time response. Specifically, it actively explores data sources, discovers numerous common requests, and abstracts them into many universal interfaces for daily invocation. When deployed in real-time requests, Data-Copilot only needs to invoke these pre-designed interfaces, transforming raw data into visualized outputs (e.g., charts, tables) that best match the user's intent. Compared to generating code from scratch, invoking these pre-designed and compiler-validated interfaces can significantly reduce errors during real-time requests. Additionally, interface workflows are more efficient and offer greater interpretability than code. We open-sourced Data-Copilot with massive Chinese financial data, such as stocks, funds, and news, demonstrating promising application prospects.

研究の動機と目的

• ドメインを横断する巨大で異種のデータを効率的に扱う必要性を喚起する。
• データ管理インターフェースを自動設計・展開するLLMベースのシステムを提案する。
• 自己設計のワークフローを介して、エンドツーエンドのデータ処理、分析、予測、可視化を可能にする。
• このアプローチを検証するため、中国の金融分野でデモンストレーターを実演する。

提案手法

• インターフェース設計: 自己依頼プロセスを用いて、データ取得、処理、予測、可視化、DataFrame操作など、多様なデータ関連インターフェースを自然言語とコードで記述し、オフラインで反復的に改良する。
• インターフェース統合: 類似インターフェースを統合して一般化されたツールを作成し、コンパクトで再利用可能なインターフェースライブラリを実現する。
• インターフェース実装: 整理された記述から各インターフェースの実装コードを生成し、プラットフォーム間でのスケーラブルな展開を可能にする。
• インターフェースディスパッチ: ユーザーの意図を解析し、自己設計したインターフェースを用いて多段階のワークフローを計画し、リアルタイムに連続・並列・ループ構造でディスパッチする。
• オフライン設計とオンラインディスパッチ: 生データをユーザーフレンドリーな出力へ変換するため、オフラインのインターフェース設計とオンラインのインターフェースディスパッチを分離する。
• マルチフォーム出力: グラフィックス、表、テキスト要約を生成し、透明性のためのワークフロー要約も併せて提供する。

実験結果

リサーチクエスチョン

• RQ1 LLM は、巨大で異種のデータを管理・処理・分析・予測・可視化するための多様なインターフェースを自律的に設計するにはどうすればよいか？
• RQ2 LLM駆動のシステムは、データドメインを横断する多様なユーザー要求を満たすために、複雑なワークフローをリアルタイムで計画・ディスパッチできるか？
• RQ3 自己設計のインターフェースは、複数のソース（例：株式、ファンド、経済データ、ニュース）からのデータをどの程度取り扱い、複数の形式で結果を提示できるか？
• RQ4 完全自律のインターフェース主導型データワークフローシステムの制限と安定性の懸念は何か？

主な発見

• Data-Copilot は、データインターフェースのライブラリを自律的に設計し、類似ツールを統合して機能を一般化できる。
• 計画されたワークフローを、データ取得・処理・予測・可視化を並列・逐次・ループ構造で実行するようディスパッチできる。
• システムはマルチフォーム出力（グラフィックス、表、テキスト）をサポートし、透明性のためのワークフロー要約を提供する。
• 中国の金融データを用いたデモンストレーターは、株式・ファンド・経済データ・ライブニュース・さまざまな視覚化へのアクセスを示す。
• 設計には GPT-4、ディスパッチには GPT-3.5 Turbo を用いた効果的な計画と実行を示し、結果のリアルタイム可視化を伴う実験を示す。