Skip to main content
QUICK REVIEW

[논문 리뷰] DS-Agent: Automated Data Science by Empowering Large Language Models with Case-Based Reasoning

Siyuan Guo, Cheng Deng|arXiv (Cornell University)|2024. 02. 27.
Topic ModelingComputer Science인용 수 6
한 줄 요약

DS-Agent는 대형 언어 모델 에이전트를 사례 기반 추론과 결합하여 데이터 사이언스 작업을 자동화하고, 개발 단계에서 높은 성공과 배포 단계에서의 one-pass 성능을 자원 비용이 낮은 상태로 달성한다.

ABSTRACT

In this work, we investigate the potential of large language models (LLMs) based agents to automate data science tasks, with the goal of comprehending task requirements, then building and training the best-fit machine learning models. Despite their widespread success, existing LLM agents are hindered by generating unreasonable experiment plans within this scenario. To this end, we present DS-Agent, a novel automatic framework that harnesses LLM agent and case-based reasoning (CBR). In the development stage, DS-Agent follows the CBR framework to structure an automatic iteration pipeline, which can flexibly capitalize on the expert knowledge from Kaggle, and facilitate consistent performance improvement through the feedback mechanism. Moreover, DS-Agent implements a low-resource deployment stage with a simplified CBR paradigm to adapt past successful solutions from the development stage for direct code generation, significantly reducing the demand on foundational capabilities of LLMs. Empirically, DS-Agent with GPT-4 achieves 100\% success rate in the development stage, while attaining 36\% improvement on average one pass rate across alternative LLMs in the deployment stage. In both stages, DS-Agent achieves the best rank in performance, costing \$1.60 and \$0.13 per run with GPT-4, respectively. Our data and code are open-sourced at https://github.com/guosyjlu/DS-Agent.

연구 동기 및 목표

  • LLM 에이전트가 작업 요구를 이해하고 데이터에 기반한 지침으로 모델을 구축/학습하도록 하여 자동화된 데이터 사이언스를 민주화한다.
  • 사례 기반 추론을 통해 Kaggle 전문가의 통찰력을 활용하여 자동적이고 반복적인 솔루션 파이프라인을 구조화한다.
  • 광범위한 재학습 없이 과거의 성공적인 솔루션을 재사용하여 코드 생성을 위한 저자원 배포 경로를 가능하게 한다.

제안 방법

  • 전체 CBR 기반 반복 루프가 포함된 개발 단계와 간소화된 CBR 기반 적응이 있는 두 단계 DS-Agent 프레임워크를 수립한다.
  • Kaggle 보고서와 최상위 수상 코드로부터 인간 인사이트 케이스 뱅크를 수집 및 선별하고, 검색 및 재사용을 위한 케이스 뱅크에 저장한다.
  • 실행 피드백에 따라 실험 계획을 점진적으로 개선하기 위한 검색, 수정-순위화, 재사용, 실행 및 보유 루프를 구현한다.
  • 태스크 임베딩의 코사인 유사도에 따라 상위 k개 유사 케이스를 검색하는 Retriever를 사용하고; 실행 피드백을 기반으로 케이스를 재배열하는 ReviseRanker를 사용하고; Planner와 Programmer가 계획을 재작성하고 Python 코드를 생성하고; Debugger가 런타임 오류를 수정하고; Logger가 실행 로그를 기록한다.
  • 개발 중에는 성공적인 작업 계획과 스크립트를 인간 인사이트 및 에이전트 케이스 뱅크 모두에 보존하여 향후 재사용하고; 배포 중에는 에이전트 뱅크의 과거 케이스를 적응시켜 최소한의 LLM 노력으로 코드를 생성한다.

실험 결과

연구 질문

  • RQ1CBR을 LLM 에이전트와 통합하여 자동화된 데이터 사이언스 작업의 신뢰성과 계획 수립을 어떻게 향상시킬 수 있는가?
  • RQ2두 단계 DS-Agent 프레임워크(반복적인 CBR 수정이 포함된 개발 및 과거 케이스 적응이 포함된 배포)가 다양한 데이터 모듈에서 높은 작업 성공과 낮은 비용을 달성할 수 있는가?
  • RQ3피드백 주도적 케이스 수정(ReviseRank)과 사례 기반 재사용이 전체 성능과 효율성에 미치는 영향은 무엇인가?

주요 결과

  • GPT-4를 가진 DS-Agent는 12개 작업에서 개발 단계 성공률 100%를 달성했다.
  • 배포 단계에서 GPT-3.5와 GPT-4를 가진 DS-Agent는 18개의 배포 작업에서 각각 85%와 99%의 one-pass 비율을 달성하며 기준치를 능가한다.
  • ReviseRank나 CBR이 없으면 성능 저하가 크게 나타나며, 피드백 기반 케이스 수정과 전문가 지식 통합의 중요성을 강조한다.
  • 개발 단계에서 실행당 비용이 각각 $0.06 (GPT-3.5) 및 $1.60 (GPT-4)로, 배포 단계에서 $0.0045 및 $0.1350로 크게 감소하여 실제 현장 사용을 가능하게 한다.
  • 배포 단계는 과거 케이스를 사용한 거의 제로샷 또는 소수샷 효과를 가능하게 하며, 오픈소스 LLM(Mixtral-8x7b-Instruct)에 대한 개선도 포함한다.
  • DS-Agent는 다수의 작업에서 강한 랭킹 성능을 보여주며, GPT-4가 종종 평균 최상/최고 순위를 달성한다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.