[論文レビュー] A Survey of Pipeline Tools for Data Engineering

Anthony Mbata, Somayajulu Sripada+1 more|arXiv (Cornell University)|Jun 12, 2024

Algorithms and Data Compression被引用数 4

ひとこと要約

本サーベイは、データエンジニアリングのパイプラインツールを評価し、ETL/ELT、データ統合、オ케ストレーション、機械学習パイプラインに分類する。IDEAL Household Energy Datasetを用いてその利用を示し、Apache Airflowが複雑なデータエンジニアリングワークフローにおいてスケーラビリティ、拡張性、ワークフロー管理の観点で優れた性能を示すが、初期の学習曲線がきついという結論に至る。

ABSTRACT

Currently, a variety of pipeline tools are available for use in data engineering. Data scientists can use these tools to resolve data wrangling issues associated with data and accomplish some data engineering tasks from data ingestion through data preparation to utilization as input for machine learning (ML). Some of these tools have essential built-in components or can be combined with other tools to perform desired data engineering operations. While some tools are wholly or partly commercial, several open-source tools are available to perform expert-level data engineering tasks. This survey examines the broad categories and examples of pipeline tools based on their design and data engineering intentions. These categories are Extract Transform Load/Extract Load Transform (ETL/ELT), pipelines for Data Integration, Ingestion, and Transformation, Data Pipeline Orchestration and Workflow Management, and Machine Learning Pipelines. The survey also provides a broad outline of the utilization with examples within these broad groups and finally, a discussion is presented with case studies indicating the usage of pipeline tools for data engineering. The studies present some first-user application experiences with sample data, some complexities of the applied pipeline, and a summary note of approaches to using these tools to prepare data for machine learning.

研究の動機と目的

• データサイエンスおよびAIプロジェクトにおけるデータエンジニアリングの課題に対処する既存のパイプラインツールを特定・レビューすること。
• ETL/ELT、データ統合、オーケストレーション、MLパイプラインなどの設計、機能、ユースケースに基づいてパイプラインツールを分類すること。
• 特にIDEAL Household Energy Datasetを用いた実世界のデータを用いて、選定したツールの実用的 usability とパフォーマンスを評価すること。
• スケーラビリティ、拡張性、統合能力に基づいたツール選定のための提言をすること。
• 研究者および実務家がデータ準備および機械学習のデプロイメントに適したパイプラインツールを選択するのを支援すること。

提案手法

• ETL/ELT、データ統合/インジェクション/変換、オーケストレーションおよびワークフロー管理、機械学習パイプラインの4つの主要グループにパイプラインツールを分類すること。
• IDEAL Household Energy Dataset を用いて Apache Spark (PySpark)、Apache Airflow、TensorFlow Extended (TFX) のツールを評価すること。
• Jupyter ノートブックおよび Airflow DAG を用いてデータ処理ワークフローを実装し、機能性と usability を評価すること。
• TFX 内部で TensorFlow Data Validation (TFDV) を活用し、データの異常を検出し、データ品質を監視すること。
• Airflow の Python ベースの DAG、フック、オペレータを活用して、Spark や TFX ジョブを含むマルチツールワークフローをオーケストレーションすること。
• 設定の複雑さ、拡張性、監視機能をツール間で比較し、特に Airflow の設定可能性とプロダクション環境での準備状態に焦点を当てる。

Figure 1: An ideal pipeline for data engineering (adapted from [ 5 ] ). The schematic points to data sourcing from multiple sources whether sourced in batches or streaming data. The data processing aspects cover the activities that occur between receiving the data and outputting the same for further

実験結果

リサーチクエスチョン

• RQ1 インジェクション、変換、統合などのデータエンジニアリングタスクを処理するうえで、どのパイプラインツールが最も効果的か。
• RQ2 異なるパイプラインツールは、usability、拡張性、機械学習ワークフローへの対応性において、どのように比較できるか。
• RQ3 特に IDEAL Household Energy Dataset のような実世界のデータセットを対象とした場合、データエンジニアリングパイプラインのセットアップおよび保守における主な課題は何か。
• RQ4 Apache Airflow のようなオーケストレーションツールは、データエンジニアリングパイプラインにおけるワークフロー管理およびスケーラビリティをどのように向上させるか。
• RQ5 データバリデーションおよび品質監視ツールは、信頼性のある機械学習の入力データを確保するために果たす役割は何か。

主な発見

• Apache Airflow は、Python ベースのフックおよびオペレータによる高い拡張性、強力なワークフロー管理機能に加え、高いスケーラビリティを備えるため、最適なツールとして浮上した。
• Apache Airflow の初期設定は複雑であり、特に Windows または Docker を使用しない環境では難しいが、設定後は usability が著しく向上する。
• Jupyter ノートブックにおける PySpark は、迅速なプロトタイピングおよびデータ処理が可能であったが、ネイティブなオーケストレーションおよび監視機能が欠如していた。
• TFX はエンドツーエンドの機械学習パイプライン支援を提供し、TFDV を通じて自動的なデータ品質チェックおよび異常検出が可能であった。
• Airflow がプラグインを通じて Spark や TFX などの他のツールと統合できる能力により、統合的でスケーラブルなデータエンジニアリングワークフローが実現可能となった。
• 本サーベイは、Airflow と PySpark や TFX を組み合わせることで、再現可能でテスト可能かつプロダクション環境で利用可能なデータパイプラインが構築可能であることを示した。

Figure 2: An indication of some data organisation, data integration and feature engineering capabilities of Apache Spark. In A the initial reading of the household sensor csv data with spark.read.csv shows the absence of feature names. In B StructType and StructField were used to create dataframe sc