[논문 리뷰] A Survey on Spark Ecosystem for Big Data Processing

Shanjiang Tang, Bingsheng He외 3명|arXiv (Cornell University)|2018. 11. 18.

Cloud Computing and Resource Management참고 문헌 60인용 수 17

한 줄 요약

이 종합적이고 체계적인 리뷰는 Apache Spark의 최적화 기법을 포괄적으로 검토하며, 스토리지, 처리, 데이터 관리, 고수준 언어, 응용 프로그램 등 스파크 생태계의 여섯 층에 걸쳐 발전을 분류한다. 성능, 일반성, 장애 복구 능력 측면에서 주요 과제를 규명하고, 메모리 기반 대용량 데이터 처리를 위한 향후 연구 방향을 제시한다.

ABSTRACT

With the explosive increase of big data in industry and academic fields, it is necessary to apply large-scale data processing systems to analysis Big Data. Arguably, Spark is state of the art in large-scale data computing systems nowadays, due to its good properties including generality, fault tolerance, high performance of in-memory data processing, and scalability. Spark adopts a flexible Resident Distributed Dataset (RDD) programming model with a set of provided transformation and action operators whose operating functions can be customized by users according to their applications. It is originally positioned as a fast and general data processing system. A large body of research efforts have been made to make it more efficient (faster) and general by considering various circumstances since its introduction. In this survey, we aim to have a thorough review of various kinds of optimization techniques on the generality and performance improvement of Spark. We introduce Spark programming model and computing system, discuss the pros and cons of Spark, and have an investigation and classification of various solving techniques in the literature. Moreover, we also introduce various data management and processing systems, machine learning algorithms and applications supported by Spark. Finally, we make a discussion on the open issues and challenges for large-scale in-memory data processing with Spark.

연구 동기 및 목표

• 스파크의 성능 및 일반성 향상을 위한 기존 연구를 체계적으로 검토하고 분류하는 것.
• 메모리 관리, 장애 복구 능력, 하드웨어 지원 등 스파크 기반 아키텍처의 현재 한계를 규명하는 것.
• 스파크 생태계의 계층적 진화(저수준 스토리지에서 고수준 응용 프로그램까지)를 분석하고 최적화 전략을 탐색하는 것.
• GPU, FPGA, TPU와 같은 이질적 가속기와 세밀한 데이터 연산을 지원하는 데 있어 열려 있는 과제를 부각하는 것.
• 스파크 기반 대용량 데이터 처리 분야의 최신 기법을 요약하고 향후 연구 방향을 제시함으로써 연구자와 실무자에게 안내하는 것.

제안 방법

• 스파크 생태계를 여섯 가지 지원 계층으로 분류: 스토리지, 프로세서, 데이터 관리, 데이터 처리, 고수준 언어, 응용 알고리즘 계층.
• 성능(예: 스케줄링, 메모리 I/O), 일반성(예: 고수준 API), 장애 복구 능력 등에 중점을 둔 최적화 기법을 검토하고 분류.
• 스파크의 RDD 모델, 선형 기반 복구 메커니즘, 메모리 기반 계산을 분석하여 가비지 컬렉션 및 데이터 스케일링과 같은 병목 현상을 규명.
• GPU, FPGA, APU, TPU 등의 가속기 확장 기술을 평가하고, 이질적인 프로그래밍 모델로 인한 통합 과제를 분석.
• 가비지 컬렉션 오버헤드를 줄이기 위해 스파크 메모리 시스템을 재설계한 Tungsten와 같은 메모리 관리 솔루션을 검토.
• 머신 러닝(예: MLlib), 딥러닝(예: DeepLearning4J, 스파크 기반 텐서플로우), 데이터 관리(예: Shark, 스파크 SQL)를 위한 스파크 기반 시스템을 검토.

실험 결과

연구 질문

• RQ1 스파크의 생태계 각 계층에서, 특히 메모리 기반 데이터 처리에서 성능을 어떻게 최적화할 수 있는가?
• RQ2 스파크의 RDD 모델이 데이터 스케일링, 불변성, 세밀한 연산 부재 측면에서 가지는 주요 한계는 무엇인가?
• RQ3 스파크는 GPU, FPGA, APU, TPU와 같은 새로운 이질적 가속기를 어떻게 지원할 수 있는가?
• RQ4 특히 선형성 지속성과 드라이버 장애에 관해 장애 복구에서 열려 있는 과제는 무엇인가?
• RQ5 스파크에서 메모리 관리 및 가비지 컬렉션 최적화에 가장 효과적인 전략은 무엇인가?

주요 결과

• 스파크의 메모리 기반 처리는 MapReduce보다 훨씬 높은 성능을 제공하지만, 가비지 컬렉션은 여전히 성능에 영향을 주는 주요 병목이다.
• 스파크의 선형 기반 장애 복구 메커니즘은 복제 방식보다 스토리지 효율성이 높지만, 드라이버와 선형성 메타데이터의 가용성을 전제로 하므로 100% 장애 복구 능력을 제한한다.
• Tungsten는 직렬화 및 메모리 레이아웃 최적화를 통해 메모리 사용량과 가비지 컬렉션 오버헤드를 줄이는 스파크 메모리 관리 프로젝트이다.
• RDD 파artitions에서의 데이터 스케일링은 로드 불균형을 유발하여 워커 간 파이프라인 태스크 실행에서 성능 저하를 초래한다.
• 스파크에서 이질적 가속기(GPU, FPGA, TPU) 지원은 제한되어 있으며, CUDA 및 OpenCL와 같은 다양한 프로그래밍 모델을 통합하기 위한 새로운 추상화가 필요하다.
• 고수준의 선언적 및 절차적 API(예: 스파크 SQL, MLlib)는 사용성을 향상시키지만, 스파크의 핵심에서의 저수준 성능 또는 일반성 문제를 해결하지 못한다.