[论文解读] DeepPrep: An LLM-Powered Agentic System for Autonomous Data Preparation
DeepPrep 是一个由大语言模型驱动的代理式系统,通过基于树的推理与执行-grounded 反馈来实现数据准备管道的构建,支持非局部修订并提升效率。它在推理成本大幅降低的前提下,达到与强力闭源模型相当的准确性,并在多样数据集上表现良好。
Data preparation, which aims to transform heterogeneous and noisy raw tables into analysis-ready data, remains a major bottleneck in data science. Recent approaches leverage large language models (LLMs) to automate data preparation from natural language specifications. However, existing LLM-powered methods either make decisions without grounding in intermediate execution results, or rely on linear interaction processes that offer limited support for revising earlier decisions. To address these limitations, we propose DeepPrep, an LLM-powered agentic system for autonomous data preparation. DeepPrep constructs data preparation pipelines through iterative, execution-grounded interaction with an environment that materializes intermediate table states and returns runtime feedback. To overcome the limitations of linear interaction, DeepPrep organizes pipeline construction with tree-based agentic reasoning, enabling structured exploration and non-local revision based on execution feedback. To enable effective learning of such behaviors, we propose a progressive agentic training framework, together with data synthesis that supplies diverse and complex ADP tasks. Extensive experiments show that DeepPrep achieves data preparation accuracy comparable to strong closed-source models (e.g., GPT-5) while incurring 15x lower inference cost, while establishing state-of-the-art performance among open-source baselines and generalizing effectively across diverse datasets.
研究动机与目标
- 解决将异构原始表转换为分析就绪数据的瓶颈。
- 克服先前基于LLM的ADP方法的 grounding 限制和线性推理的刚性。
- 开发基于树的代理式推理,以实现基于执行反馈的非局部修订。
- 提出渐进式代理式训练框架,结合数据合成来训练 LLMS 处理 ADP 任务。
提出的方法
- 迭代计划–编排–执行循环,物化中间表状态并返回运行时反馈。
- 基于树的代理式推理,实现在执行树内的结构化探索与回溯。
- 使用明确的计划、扩展、执行和回答动作在推理树上进行代理式推断。
- 渐进式代理式训练,结合冷启动课程、多轮 RL 与混合奖励,以及用于多样化 ADP 任务的数据合成。
- 支持广泛的数据准备算子集合(跨八类共31个算子)以及一个可编程执行环境。
实验结果
研究问题
- RQ1执行和非线性(基于树的)推理在 ADP 相较于线性提示方法能否提升性能?
- RQ2如何训练LLM在ADP任务中有效执行基于树的代理式规划和回溯?
- RQ3与开源基线和闭源模型相比,DeepPrep 的方法对准确性和推理成本有何影响?
- RQ4DeepPrep 能否在多样化的真实ADP数据集和任务中实现泛化?
主要发现
- DeepPrep 在数据准备准确性方面可与强力闭源模型(如 GPT-5)相当,且推理成本低15×。
- 在开源基线中达到最先进的性能水平。
- 基于树的代理式推理实现了非局部回溯与结构化探索,提高对执行失败的鲁棒性。
- 该方法能在多样数据集和任务中有效泛化。
- 渐进式训练框架和数据合成使学习复杂、具执行感知的 ADP 策略成为可能。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。