[논문 리뷰] Data-Copilot: Bridging Billions of Data and Humans with Autonomous Workflow

Wenqi Zhang, Yongliang Shen외 4명|arXiv (Cornell University)|2023. 06. 12.

Data Quality and Management인용 수 10

한 줄 요약

Data-Copilot은 인간의 도움 없이 거대한 이종 데이터를 관리, 처리, 시각화하기 위해 인터페이스를 자율적으로 설계하고 워크플로우를 디스패치하는 LLM 기반 시스템이다.

ABSTRACT

Industries such as finance, meteorology, and energy generate vast amounts of data daily. Efficiently managing, processing, and displaying this data requires specialized expertise and is often tedious and repetitive. Leveraging large language models (LLMs) to develop an automated workflow presents a highly promising solution. However, LLMs are not adept at handling complex numerical computations and table manipulations and are also constrained by a limited context budget. Based on this, we propose Data-Copilot, a data analysis agent that autonomously performs querying, processing, and visualization of massive data tailored to diverse human requests. The advancements are twofold: First, it is a code-centric agent that receives human requests and generates code as an intermediary to handle massive data, which is quite flexible for large-scale data processing tasks. Second, Data-Copilot involves a data exploration phase in advance, which explores how to design more universal and error-free interfaces for real-time response. Specifically, it actively explores data sources, discovers numerous common requests, and abstracts them into many universal interfaces for daily invocation. When deployed in real-time requests, Data-Copilot only needs to invoke these pre-designed interfaces, transforming raw data into visualized outputs (e.g., charts, tables) that best match the user's intent. Compared to generating code from scratch, invoking these pre-designed and compiler-validated interfaces can significantly reduce errors during real-time requests. Additionally, interface workflows are more efficient and offer greater interpretability than code. We open-sourced Data-Copilot with massive Chinese financial data, such as stocks, funds, and news, demonstrating promising application prospects.

연구 동기 및 목표

• 다양한 도메인에서 방대한 이종 데이터를 효율적으로 다룰 필요성을 자극한다.
• 자율 데이터 관리 인터페이스를 설계하고 배치하는 LLM 기반 시스템을 제안한다.
• 자체 설계 워크플로우를 통해 엔드-투-엔드 데이터 처리, 분석, 예측, 시각화를 가능하게 한다.
• 접근법을 검증하기 위해 중국 금융 도메인에서 시연기를 보여준다.

제안 방법

• 인터페이스 설계: 데이터 수집, 처리, 예측, 시각화, DataFrame 조작 등을 포함한 다양한 데이터 관련 인터페이스를 자연어 및 코드로 설명하고 오프라인에서 반복적으로 정제하는 자체 요청 프로세스를 사용한다.
• 인터페이스 병합: 유사한 인터페이스를 병합하여 일반화된 도구를 만들고 간결하고 재사용 가능한 인터페이스 라이브러리를 가능하게 한다.
• 인터페이스 구현: 정제된 설명에서 각 인터페이스의 구현 코드를 생성하고 플랫폼 전반에서의 확장 가능한 배포를 가능하게 한다.
• 인터페이스 디스패치: 사용자의 의도를 분석하고 자체 설계 인터페이스를 사용해 다단계 워크플로를 계획하며 실시간으로 순차적, 병렬 또는 루프 구조로 디스패치한다.
• 오프라인 설계 vs 온라인 디스패치: 원시 데이터를 사용자 친화적 출력으로 변환하기 위해 오프라인 인터페이스 설계와 온라인 인터페이스 디스패치를 분리한다.
• 다형식 출력: 그래프, 표, 텍스트 요약과 함께 투명성을 위한 워크플로우 요약을 생성한다.

실험 결과

연구 질문

• RQ1 LLM이 대규모 이종 데이터를 관리, 처리, 분석, 예측 및 시각화하기 위한 다용도 인터페이스를 자율적으로 설계할 수 있는가?
• RQ2 LLM 기반 시스템이 다양한 데이터 도메인에 걸친 사용자의 다양한 요구를 실시간으로 만족시키기 위해 복잡한 워크플로를 계획하고 디스패치할 수 있는가?
• RQ3 셀프 설계된 인터페이스가 여러 소스(예: 주식, 펀드, 경제, 뉴스)의 데이터를 다루고 여러 형식으로 결과를 제시하는 정도는 어느 정도인가?
• RQ4 완전한 자율성의 인터페이스 주도 데이터 워크플로우 시스템의 한계와 안정성 이슈는 무엇인가?

주요 결과

• Data-Copilot은 데이터 인터페이스 라이브러리를 자율적으로 설계하고 유사 도구를 병합하여 기능을 일반화할 수 있다.
• 계획된 워크플로를 디스패치하여 데이터 수집, 처리, 예측 및 시각화를 병렬, 순차 또는 루프 구조로 실행할 수 있다.
• 시스템은 다형식 출력(그래프, 표, 텍스트)을 지원하고 투명성을 위한 워크플로우 요약을 제공한다.
• 중국 금융 데이터를 이용한 시연자는 주식, 펀드, 경제 데이터, 실시간 뉴스 및 다양한 시각화에 접근 가능하다고 보여준다.
• 실험은 설계에 GPT-4를, 디스패치에 GPT-3.5 Turbo를 사용해 효과적인 계획과 실행을 보여주고 결과의 실시간 시각화를 제공한다.