[논문 리뷰] A Survey of Pipeline Tools for Data Engineering

Anthony Mbata, Somayajulu Sripada외 1명|arXiv (Cornell University)|2024. 06. 12.

Algorithms and Data Compression인용 수 4

한 줄 요약

이 종합 검토는 데이터 엔지니어링을 위한 파이프라인 도구를 평가하며, ETL/ELT, 데이터 통합, 오케스트레이션, 기계학습 파이프라인으로 분류한다. IDEAL 가정 에너지 데이터셋을 활용한 사례를 통해 Apache Airflow가 복잡한 데이터 엔지니어링 워크플로우에서 우수한 확장성, 확장성 및 워크플로우 관리 능력을 제공함을 입증한다. 다만 초보자에게는 높은 학습 곡선이 수반된다.

ABSTRACT

Currently, a variety of pipeline tools are available for use in data engineering. Data scientists can use these tools to resolve data wrangling issues associated with data and accomplish some data engineering tasks from data ingestion through data preparation to utilization as input for machine learning (ML). Some of these tools have essential built-in components or can be combined with other tools to perform desired data engineering operations. While some tools are wholly or partly commercial, several open-source tools are available to perform expert-level data engineering tasks. This survey examines the broad categories and examples of pipeline tools based on their design and data engineering intentions. These categories are Extract Transform Load/Extract Load Transform (ETL/ELT), pipelines for Data Integration, Ingestion, and Transformation, Data Pipeline Orchestration and Workflow Management, and Machine Learning Pipelines. The survey also provides a broad outline of the utilization with examples within these broad groups and finally, a discussion is presented with case studies indicating the usage of pipeline tools for data engineering. The studies present some first-user application experiences with sample data, some complexities of the applied pipeline, and a summary note of approaches to using these tools to prepare data for machine learning.

연구 동기 및 목표

• 데이터 과학 및 AI 프로젝트에서 발생하는 데이터 엔지니어링 과제를 해결하는 데 기여하는 기존 파이프라인 도구를 식별하고 검토하는 것.
• ETL/ELT, 데이터 통합, 오케스트레이션, 기계학습 파이프라인과 같은 설계, 기능 및 용도 기반으로 파이프라인 도구를 분류하는 것.
• 실제 데이터, 특히 IDEAL 가정 에너지 데이터셋을 활용해 선정된 도구의 실용적 사용성과 성능을 평가하는 것.
• 확장성, 확장성 및 통합 능력 기반으로 도구 선택에 대한 권고를 제공하는 것.
• 연구자 및 실무자가 데이터 준비 및 기계학습 배포에 적합한 파이프라인 도구를 선택하는 데 도움을 주는 것.

제안 방법

• ETL/ELT, 데이터 통합/수집/변환, 오케스트레이션 및 워크플로우 관리, 기계학습 파이프라인의 네 가지 주요 그룹으로 파이프라인 도구를 분류.
• IDEAL 가정 에너지 데이터셋을 사용해 Apache Spark (PySpark), Apache Airflow, TensorFlow Extended (TFX) 등의 도구를 평가.
• 기능성과 사용성 평가를 위해 Jupyter 노트북과 Airflow DAG를 활용한 데이터 처리 워크플로우를 구현.
• TFX 내부에서 TensorFlow Data Validation (TFDV)를 활용해 데이터 이상 현상 탐지 및 데이터 품질 모니터링.
• Airflow의 Python 기반 DAG, 훅, 오퍼레이터를 활용해 Spark 및 TFX 작업을 포함한 다도구 워크플로우를 오케스트레이션.
• 설정 복잡성, 확장성, 모니터링 기능 등을 도구 간 비교하며, Airflow의 구성 유연성과 프로덕션 준비성에 중점을 두었다.

Figure 1: An ideal pipeline for data engineering (adapted from [ 5 ] ). The schematic points to data sourcing from multiple sources whether sourced in batches or streaming data. The data processing aspects cover the activities that occur between receiving the data and outputting the same for further

실험 결과

연구 질문

• RQ1 데이터 수집, 변환, 통합과 같은 데이터 엔지니어링 작업을 처리하는 데 가장 효과적인 파이프라인 도구는 무엇인가?
• RQ2 다양한 파이프라인 도구는 사용성, 확장성, 기계학습 워크플로우 지원 측면에서 어떻게 비교될 수 있는가?
• RQ3 실제 데이터셋인 IDEAL 가정 에너지 데이터셋과 같은 환경에서 데이터 엔지니어링 파이프라인을 설정하고 유지보수하는 데 발생하는 주요 과제는 무엇인가?
• RQ4 Apache Airflow와 같은 오케스트레이션 도구는 데이터 엔지니어링 파이프라인에서 워크플로우 관리 및 확장성 향상에 어떻게 기여하는가?
• RQ5 데이터 검증 및 품질 모니터링 도구는 신뢰할 수 있는 기계학습 입력을 확보하는 데 어떤 역할을 하는가?

주요 결과

• Apache Airflow는 Python 기반 훅과 오퍼레이터를 통한 강력한 확장성과 견고한 워크플로우 관리 능력 덕분에 최우선 도구로 부상했다.
• Apache Airflow의 초기 설정은 복잡한 편이며, 특히 Windows 또는 Docker 없이 사용할 경우 더욱 그렇지만, 설정 완료 후에는 사용성이 크게 향상된다.
• Jupyter 노트북에서의 PySpark는 빠른 프로토타이핑과 데이터 처리를 가능하게 했지만, 내장된 오케스트레이션 및 모니터링 기능이 부족했다.
• TFX는 TFDV를 통해 자동화된 데이터 품질 점검 및 이상 탐지 기능을 제공함으로써 종단 간 기계학습 파이프라인 지원을 제공했다.
• Airflow는 플러그인을 통해 Spark, TFX 및 기타 도구와의 통합 능력 덕분에 통합적이고 확장 가능한 데이터 엔지니어링 워크플로우를 가능하게 했다.
• 본 종합 검토는 Airflow, PySpark, TFX 등의 도구를 조합함으로써 재현 가능하고 테스트 가능하며 프로덕션 준비가 된 데이터 파이프라인을 구축할 수 있음을 입증했다.

Figure 2: An indication of some data organisation, data integration and feature engineering capabilities of Apache Spark. In A the initial reading of the household sensor csv data with spark.read.csv shows the absence of feature names. In B StructType and StructField were used to create dataframe sc