[논문 리뷰] DeepPrep: An LLM-Powered Agentic System for Autonomous Data Preparation
DeepPrep은 트리 기반 추론과 실행 기반 피드백으로 데이터 준비 파이프라인을 구축하는 LLM 기반 에이전틱 시스템으로, 비-로컬 수정 및 효율성 향상을 가능하게 합니다. 이는 강력한 폐쇄 소스 모델과 비교할 수 있을 만큼의 정확도를 substantially 낮은 추론 비용으로 달성하며, 다양한 데이터셋에서도 우수한 성능을 발휘합니다.
Data preparation, which aims to transform heterogeneous and noisy raw tables into analysis-ready data, remains a major bottleneck in data science. Recent approaches leverage large language models (LLMs) to automate data preparation from natural language specifications. However, existing LLM-powered methods either make decisions without grounding in intermediate execution results, or rely on linear interaction processes that offer limited support for revising earlier decisions. To address these limitations, we propose DeepPrep, an LLM-powered agentic system for autonomous data preparation. DeepPrep constructs data preparation pipelines through iterative, execution-grounded interaction with an environment that materializes intermediate table states and returns runtime feedback. To overcome the limitations of linear interaction, DeepPrep organizes pipeline construction with tree-based agentic reasoning, enabling structured exploration and non-local revision based on execution feedback. To enable effective learning of such behaviors, we propose a progressive agentic training framework, together with data synthesis that supplies diverse and complex ADP tasks. Extensive experiments show that DeepPrep achieves data preparation accuracy comparable to strong closed-source models (e.g., GPT-5) while incurring 15x lower inference cost, while establishing state-of-the-art performance among open-source baselines and generalizing effectively across diverse datasets.
연구 동기 및 목표
- 이질적인 원시 표를 분석 준비 데이터로 변환하는 병목 현상을 해결한다.
- 기존 LLM 기반 ADP 방법의 근거 확립 한계와 선형 추론의 경직성을 극복한다.
- 실행 피드백에 기반한 비로컬 수정이 가능하도록 트리 기반 에이전틱 추론을 개발한다.
- ADP 작업을 위한 LLM 학습을 위한 데이터 합성을 포함한 점진적 에이전틱 학습 프레임워크를 제안한다.
제안 방법
- 중간 표 상태를 구체화하고 런타임 피드백을 반환하는 반복 계획–오케스트레이션–실행 루프.
- 구조적 탐색과 실행 트리 내의 되돌리기를 가능하게 하는 트리 기반 에이전틱 추론.
- 추론 트리에서 명시적 계획, 확장, 실행, 답변 액션을 이용한 에이전틱 추론.
- 콜드 스타트 커리큘럼, 하이브리드 보상과 함께하는 다-turn RL, 다양 한 ADP 작업을 위한 데이터 합성을 포함하는 점진적 에이전트 학습.
- 여덟 가지 범주의 31개 연산자에 걸친 광범위한 데이터 준비 연산자와 프로그래밍 가능한 실행 환경에 대한 지원.
실험 결과
연구 질문
- RQ1실행 기반의 비선형(트리 기반) 추론이 선형 프롬프트 방식에 비해 ADP를 어떻게 개선할 수 있는가?
- RQ2ADP 작업에서 트리 기반 에이전틱 계획 및 되돌리기를 효과적으로 수행하도록 LLM을 어떻게 학습시킬 수 있는가?
- RQ3오픈 소스 기준선 및 폐쇄형 모델에 비교한 DeepPrep의 정확도 및 추론 비용에 미치는 영향은 어떠한가?
- RQ4DeepPrep의 접근 방식이 다양한 실제 ADP 데이터세트와 작업에 대해 일반화될 수 있는가?
주요 결과
- DeepPrep은 15× 낮은 추론 비용으로 강력한 폐쇄 소스 모델(예: GPT-5)과 비교할 만한 데이터 준비 정확도를 달성합니다.
- 오픈 소스 기준선 중에서 최첨단 성능을 확립합니다.
- 트리 기반 에이전틱 추론은 비로컬 되돌리기와 구조적 탐색을 가능하게 하여 실행 실패에 대한 견고성을 향상시킵니다.
- 다양한 데이터셋과 작업에 걸쳐 접근 방식이 효과적으로 일반화됩니다.
- 점진적 학습 프레임워크와 데이터 합성은 복잡하고 실행 인지형 ADP 전략의 학습을 가능하게 합니다.
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.