[论文解读] A Survey of Pipeline Tools for Data Engineering

Anthony Mbata, Somayajulu Sripada+1 more|arXiv (Cornell University)|Jun 12, 2024

Algorithms and Data Compression被引用 4

一句话总结

本综述评估了用于数据工程的流水线工具，将其分类为 ETL/ELT、数据集成、编排和机器学习流水线。通过使用 IDEAL 家庭能源数据集进行演示，结论指出尽管初始学习曲线较陡峭，Apache Airflow 在复杂数据工程工作流中仍展现出卓越的可扩展性、可扩展性和工作流管理能力。

ABSTRACT

Currently, a variety of pipeline tools are available for use in data engineering. Data scientists can use these tools to resolve data wrangling issues associated with data and accomplish some data engineering tasks from data ingestion through data preparation to utilization as input for machine learning (ML). Some of these tools have essential built-in components or can be combined with other tools to perform desired data engineering operations. While some tools are wholly or partly commercial, several open-source tools are available to perform expert-level data engineering tasks. This survey examines the broad categories and examples of pipeline tools based on their design and data engineering intentions. These categories are Extract Transform Load/Extract Load Transform (ETL/ELT), pipelines for Data Integration, Ingestion, and Transformation, Data Pipeline Orchestration and Workflow Management, and Machine Learning Pipelines. The survey also provides a broad outline of the utilization with examples within these broad groups and finally, a discussion is presented with case studies indicating the usage of pipeline tools for data engineering. The studies present some first-user application experiences with sample data, some complexities of the applied pipeline, and a summary note of approaches to using these tools to prepare data for machine learning.

研究动机与目标

• 识别并回顾现有流水线工具，以解决数据科学和 AI 项目中的数据工程挑战。
• 根据设计、功能和用例（如 ETL/ELT、数据集成、编排和机器学习流水线）对流水线工具进行分类。
• 使用真实世界数据（特别是 IDEAL 家庭能源数据集）评估所选工具的实际可用性和性能。
• 基于可扩展性、可扩展性和集成能力，为工具选择提供建议。
• 为研究人员和实践者在数据准备和机器学习部署中选择合适的流水线工具提供指导。

提出的方法

• 将流水线工具分为四大类：ETL/ELT、数据集成/摄取/转换、编排和工作流管理、以及机器学习流水线。
• 使用 IDEAL 家庭能源数据集，对 Apache Spark（PySpark）、Apache Airflow 和 TensorFlow Extended（TFX）等工具进行评估。
• 在 Jupyter 笔记本和 Airflow DAG 中实现数据处理工作流，以评估其功能性和可用性。
• 在 TFX 中使用 TensorFlow 数据验证（TFDV）检测数据异常并监控数据质量。
• 利用 Airflow 的基于 Python 的 DAG、钩子和操作符，编排多工具工作流，包括 Spark 和 TFX 作业。
• 比较各工具在设置复杂性、可扩展性和监控能力方面的表现，特别强调 Airflow 的可配置性和生产就绪性。

Figure 1: An ideal pipeline for data engineering (adapted from [ 5 ] ). The schematic points to data sourcing from multiple sources whether sourced in batches or streaming data. The data processing aspects cover the activities that occur between receiving the data and outputting the same for further

实验结果

研究问题

• RQ1 哪些流水线工具在处理数据工程任务（如数据摄取、转换和集成）方面最为有效？
• RQ2 不同流水线工具在可用性、可扩展性和对机器学习工作流支持方面有何差异？
• RQ3 在设置和维护数据工程流水线时，特别是针对真实世界数据集（如 IDEAL 家庭能源数据集）时，面临哪些主要挑战？
• RQ4 像 Apache Airflow 这样的编排工具如何提升数据工程流水线中的工作流管理和可扩展性？
• RQ5 数据验证和质量监控工具在确保可靠机器学习输入方面发挥什么作用？

主要发现

• Apache Airflow 因其高可扩展性、通过基于 Python 的钩子和操作符实现的强大可扩展性，以及强大的工作流管理能力，成为首选工具。
• Apache Airflow 的初始设置较为复杂，尤其在 Windows 系统或未使用 Docker 的情况下，但配置完成后可用性显著提升。
• 在 Jupyter 笔记本中使用 PySpark 实现了快速原型设计和数据处理，但缺乏原生编排和监控功能。
• TFX 提供了端到端的机器学习流水线支持，其中 TFDV 实现了自动化的数据质量检查和异常检测。
• Airflow 通过插件与 Spark、TFX 及其他工具的集成能力，实现了统一、可扩展的数据工程工作流。
• 本综述表明，将 Airflow 与 PySpark 和 TFX 等工具结合使用，可实现可重现、可测试且可投入生产的流水线。

Figure 2: An indication of some data organisation, data integration and feature engineering capabilities of Apache Spark. In A the initial reading of the household sensor csv data with spark.read.csv shows the absence of feature names. In B StructType and StructField were used to create dataframe sc