[논문 리뷰] AFrame: Extending DataFrames for Large-Scale Modern Data Analysis (Extended Version)

Phanwadee Sinthong, Michael J. Carey|arXiv (Cornell University)|2019. 08. 19.

Cloud Computing and Resource Management참고 문헌 18인용 수 4

한 줄 요약

AFrame는 분산형으로 관리되는 대규모 데이터 시스템인 Apache AsterixDB를 기반으로 하여, 대규모 반구조화된 데이터셋에서 효율적으로 확장 가능한 DataFrames를 확장한다. 이는 투명한 병렬 실행, 쿼리 최적화, 라이브 데이터 및 머신러닝 모델 지원과 함께 Pandas 유사 연산을 가능하게 하며, 수동 데이터 관리 오버헤드를 제거하면서도 JSON 기반 시스템보다 뛰어나고, Parquet 기반 시스템과 경쟁할 수 있다.

ABSTRACT

Analyzing the increasingly large volumes of data that are available today, possibly including the application of custom machine learning models, requires the utilization of distributed frameworks. This can result in serious productivity issues for "normal" data scientists. This paper introduces AFrame, a new scalable data analysis package powered by a Big Data management system that extends the data scientists' familiar DataFrame operations to efficiently operate on managed data at scale. AFrame is implemented as a layer on top of Apache AsterixDB, transparently scaling out the execution of DataFrame operations and machine learning model invocation through a parallel, shared-nothing big data management system. AFrame incrementally constructs SQL++ queries and leverages AsterixDB's semistructured data management facilities, user-defined function support, and live data ingestion support. In order to evaluate the proposed approach, this paper also introduces an extensible micro-benchmark for use in evaluating DataFrame performance in both single-node and distributed settings via a collection of representative analytic operations. This paper presents the architecture of AFrame, describes the underlying capabilities of AsterixDB that efficiently support modern data analytic operations, and utilizes the proposed benchmark to evaluate and compare the performance and support for large-scale data analyses provided by alternative DataFrame libraries.

연구 동기 및 목표

• 로컬에서 분산된 데이터 분석으로의 확장 과정에서 데이터 과학자들이 겪는 생산성 격차를 해소하기 위해.
• 대규모 반구조화된 데이터에서 익숙한 Pandas 유사 의미 체계를 유지하면서도 스케일 독립적인 DataFrame 경험을 제공하기 위해.
• HDFS, Spark, TensorFlow 등의 여러 시스템을 수동으로 관리할 필요 없이 하나의 관리되는 백엔드로 통합함으로써 데이터 과학자들이 복잡한 시스템 관리를 피할 수 있도록 하기 위해.
• 단일 노드 및 분산 환경에서의 DataFrame 성능을 평가하기 위한 표준화되고 확장 가능한 마이크로 벤치마크를 설계하기 위해.
• 쿼리 최적화 및 인덱싱을 통해 데이터베이스 기반 DataFrame 시스템이 기존의 메모리 기반 또는 파일 기반 프레임워크보다 뛰어난 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• AFrame는 Apache AsterixDB 위에 구현된 레이어로서, DataFrame 연산을 SQL++ 쿼리로 변환한다.
• 반구조화된 데이터, 사용자 정의 함수, 라이브 데이터 인gest를 지원하는 AsterixDB의 기능을 활용하여 확장성 있고 관리되는 분석을 가능하게 한다.
• 지연 평가와 데이터베이스 쿼리 최적화를 통해 실행 시간과 데이터 이동을 최소화한다.
• 분산 머신러닝 전문 지식 없이도 사전 훈련된 머신러닝 모델(예: Scikit-Learn)을 직접 호출할 수 있도록 지원한다.
• 공유되지 않는 병렬 아키텍처를 기반으로 하여 운영을 투명하게 확장하여, 주 메모리보다 큰 데이터셋에 대한 오브코어 처리를 가능하게 한다.
• 제안된 마이크로 벤치마크는 데이터 준비 및 표현식 실행 시간을 분리하여 다양한 프레임워크 간의 세밀한 성능 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 기능이 풍부한 대규모 데이터 관리 시스템 기반의 DataFrame 시스템이 대규모 분석 워크로드에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 관리되고 쿼리 최적화된 DataFrame 백엔드의 성능은 Pandas나 Spark와 같은 메모리 기반 또는 파일 기반 DataFrame 시스템과 비교해 어떻게 되는가?
• RQ3 쿼리 최적화와 인덱싱는 데이터 분석 워크플로우에서 종합적인 인사이트 확보 시간을 얼마나 향상시키는가?
• RQ4 통합된 시스템은 데이터 인gest, 스토리지, 쿼리, 머신러닝 통합의 복잡성을 얼마나 줄일 수 있는가?
• RQ5 제안된 마이크로 벤치마크는 다양한 DataFrame 라이브러리와 워크로드 간의 성능 트레이드오프를 얼마나 효과적으로 드러내는가?

주요 결과

• AFrame는 효율적인 쿼리 최적화와 관리되는 스토리지 덕분에 대규모 데이터셋에서 JSON 기반 DataFrame 시스템보다 약 10배 빠른 성능을 보였다.
• Spark의 Parquet 기반 DataFrame은 컬럼형 압축과 효율적인 컬럼 연산 덕분에 AFrame와 경쟁적인 성능을 보였다.
• AsterixDB에 사전 인gest된 인덱스가 있는 데이터를 활용함으로써 AFrame은 반복적인 파일 스캔을 제거하여 DataFrame 생성 오버헤드를 줄였다.
• AsterixDB의 쿼리 최적화기는 총 평가 시간에서 특히 뚜렷한 성능 향상을 이끌어내었으며, 이는 실제 워크플로우에서의 인사이트 확보 시간을 반영한다.
• 벤치마크는 성능 차이를 효과적으로 분리하고 정량화하여, 데이터 준비 및 표현식 실행 오버헤드가 다양한 시스템 간에 상당한 차이를 보임을 드러냈다.
• AFrame은 추가적인 엔지니어링 노력 없이도 라이브 데이터 피드와 사전 훈련된 머신러닝 모델을 네이티브로 지원함으로써 생산성과 사용성 향상을 높였다.