[論文レビュー] Auto-Pipeline: Synthesize Data Pipelines By-Target Using Reinforcement Learning and Search.

Junwen Yang, Yeye He+1 more|arXiv (Cornell University)|Jun 25, 2021

Software Engineering Research被引用数 1

ひとこと要約

この論文では、文字列変換とテーブル操作を組み合わせた複雑なマルチステップデータパイプラインを、新しい「by-target」パラダイムを用いて合成するシステム、Auto-Pipelineを紹介する。関数的依存やキーのような暗黙のスキーマ制約を活用することで、強化学習と探索を用いてパイプラインを自動生成し、実世界のGitHubパイプラインにおいて平均10–20秒で60–70%の成功率を達成する。

ABSTRACT

Recent work has made significant progress in helping users to automate single data preparation steps, such as string-transformations and table-manipulation operators (e.g., Join, GroupBy, Pivot, etc.). We in this work propose to automate multiple such steps end-to-end, by synthesizing complex data pipelines with both string transformations and table-manipulation operators. We propose a novel by-target paradigm that allows users to easily specify the desired pipeline, which is a significant departure from the traditional by-example paradigm. Using by-target, users would provide input tables (e.g., csv or json files), and point us to a target (e.g., an existing database table or BI dashboard) to demonstrate how the output from the desired pipeline would schematically look like. While the problem is seemingly underspecified, our unique insight is that implicit table constraints such as FDs and keys can be exploited to significantly constrain the space to make the problem tractable. We develop an Auto-Pipeline system that learns to synthesize pipelines using reinforcement learning and search. Experiments on large numbers of real pipelines crawled from GitHub suggest that Auto-Pipeline can successfully synthesize 60-70% of these complex pipelines (up to 10 steps) in 10-20 seconds on average.

研究の動機と目的

• 複数の変換ステップを含む、文字列操作とテーブル操作を含むエンドツーエンドのデータパイプライン合成を自動化する課題に対処すること。
• ユーザーが入力例を提供するのではなく、望ましい出力スキーマを指定する「by-target」パラダイムを導入することで、ユーザーの作業負荷と曖昧さを低減すること。
• 関数的依存やキーのような暗黙のスキーマ制約を活用して、探索空間を大幅に削減し、パイプライン合成を現実可能にする。
• 10ステップに達するような複雑でマルチステップのパイプラインを、現実世界の環境で効率的かつ正確に学習・合成できるシステムを開発すること。

提案手法

• ユーザーが入力テーブルを提供し、ターゲット出力テーブルまたはダッシュボードを指すことで、望ましいスキーマを定義するby-target仕様を採用する。
• 関数的依存（FDs）やキーのような暗黙のスキーマ制約を活用して、探索空間を削減し、合成をガイドする。
• 強化学習エージェントが、スキーマの正しさとデータの正しさに基づく報酬関数を用いて、可能なパイプラインの空間を探索する。
• 探索手法を強化学習ポリシーと統合することで、サンプル効率を向上させ、収束速度を向上させる。
• ニューラルネットワークポリシーが、入力テーブルをターゲットスキーマに近づけるために、操作とパラメータを選択するパイプライン合成プロセスをガイドする。

実験結果

リサーチクエスチョン

• RQ1 例の入力を必要としない「by-target」パラダイムは、複雑なデータパイプラインの合成を効果的にガイドできるか？
• RQ2 関数的依存やキーのような暗黙のスキーマ制約は、パイプライン合成のための探索空間をどの程度削減できるか？
• RQ3 強化学習と探索の組み合わせは、実世界のGitHubデータセットにおけるマルチステップパイプラインの合成にどの程度効果的か？
• RQ4 提案手法を用いて最大10の操作を含むパイプラインを合成する際の平均時間と成功率はどの程度か？

主な発見

• Auto-Pipelineは、GitHubから抽出した複雑な実世界のデータパイプライン（最大10ステップ）の60–70%を正常に合成できた。
• パイプライン1つあたり平均10–20秒で合成が達成され、高い効率性を示した。
• 関数的依存やキーのような暗黙のスキーマ制約の活用により、探索空間が顕著に削減され、合成が現実可能になった。
• ユーザー入力負荷の低減と仕様の明確化により、従来のby-exampleアプローチに比べ、by-targetパラダイムが優れた性能を発揮した。