[论文解读] Auto-Pipeline: Synthesize Data Pipelines By-Target Using Reinforcement Learning and Search.

Junwen Yang, Yeye He+1 more|arXiv (Cornell University)|Jun 25, 2021

Software Engineering Research被引用 1

一句话总结

该论文提出 Auto-Pipeline，一种利用新颖的按目标范式，结合字符串转换与表操作，自动合成复杂多步骤数据管道的系统。通过利用函数依赖和主键等隐式模式约束，该系统采用强化学习与搜索技术，自动生成数据管道，在真实 GitHub 数据管道上实现了 60–70% 的成功率，平均耗时 10–20 秒。

ABSTRACT

Recent work has made significant progress in helping users to automate single data preparation steps, such as string-transformations and table-manipulation operators (e.g., Join, GroupBy, Pivot, etc.). We in this work propose to automate multiple such steps end-to-end, by synthesizing complex data pipelines with both string transformations and table-manipulation operators. We propose a novel by-target paradigm that allows users to easily specify the desired pipeline, which is a significant departure from the traditional by-example paradigm. Using by-target, users would provide input tables (e.g., csv or json files), and point us to a target (e.g., an existing database table or BI dashboard) to demonstrate how the output from the desired pipeline would schematically look like. While the problem is seemingly underspecified, our unique insight is that implicit table constraints such as FDs and keys can be exploited to significantly constrain the space to make the problem tractable. We develop an Auto-Pipeline system that learns to synthesize pipelines using reinforcement learning and search. Experiments on large numbers of real pipelines crawled from GitHub suggest that Auto-Pipeline can successfully synthesize 60-70% of these complex pipelines (up to 10 steps) in 10-20 seconds on average.

研究动机与目标

• 解决在多个转换步骤中自动合成端到端数据管道的挑战，包括字符串操作与表操作。
• 提出一种按目标范式，用户仅需指定期望的输出模式，而非提供示例输入，从而减少用户工作量与歧义。
• 利用隐式模式约束（如函数依赖与主键）显著缩小搜索空间，使数据管道合成变得可行。
• 开发一种系统，能够高效且准确地学习并合成复杂、多步骤（最多 10 步）的数据管道，适用于真实世界场景。

提出的方法

• 系统采用按目标规范，用户提供输入表，并指向目标输出表或仪表板以定义期望的模式。
• 利用函数依赖（FDs）和主键等隐式模式约束，剪枝搜索空间并引导合成过程。
• 强化学习智能体探索可能的管道空间，奖励函数基于模式正确性与数据正确性。
• 将搜索技术与强化学习策略结合，提升样本效率与收敛速度。
• 管道合成过程由神经网络策略引导，选择操作及其参数，将输入表逐步转换为目标模式。

实验结果

研究问题

• RQ1 按目标范式是否能有效引导复杂数据管道的合成，而无需提供示例输入？
• RQ2 函数依赖与主键等隐式模式约束在多大程度上能缩小数据管道合成的搜索空间？
• RQ3 强化学习与搜索相结合，在真实世界 GitHub 数据集上合成多步骤数据管道的效率如何？
• RQ4 使用所提方法合成最多包含 10 个操作的管道，其平均耗时与成功率如何？

主要发现

• Auto-Pipeline 能够成功合成 60–70% 的复杂真实世界数据管道（最多 10 步），这些管道来自 GitHub。
• 系统平均每个管道耗时 10–20 秒，展现出高效率。
• 利用函数依赖与主键等隐式模式约束显著缩小了搜索空间，使合成过程变得可行。
• 按目标范式优于传统按示例方法，有效减轻用户输入负担并提升规格清晰度。