[논문 리뷰] Big Data Frameworks: A Comparative Study.

Wissem Inoubli, Sabeur Aridhi외 2명|arXiv (Cornell University)|2016. 10. 31.

Graph Theory and Algorithms참고 문헌 55인용 수 16

한 줄 요약

이 논문은 대규모 데이터 워크로드를 처리하는 데 있어 주요 빅데이터 프레임워크들의 성능을 평가하는 비교 분석을 제시한다. 주요 프레임워크들을 조사하고, 실험적 평가를 수행하며, 기계학습, 그래프 처리 및 실세계 시스템 분야의 응용을 위한 최적의 실천 방안을 규명한다.

ABSTRACT

Recently, increasingly large amounts of data are generated from a variety of sources. Existing data processing technologies are not suitable to cope with the huge amounts of generated data. Yet, many research works focus on Big Data, a buzzword referring to the processing of massive volumes of (unstructured) data. Recently proposed frameworks for Big Data applications help to store, analyze and process the data. In this paper, we discuss the challenges of Big Data and we survey existing Big Data frameworks. We also present an experimental evaluation and a comparative study of the most popular Big Data frameworks. This survey is concluded with a presentation of best practices related to the use of studied frameworks in several application domains such as machine learning, graph processing and real-world applications.

연구 동기 및 목표

• 빅데이터의 볼륨, 속도 및 다양성으로 인해 발생하는 핵심 과제를 규명하고 분석하기 위해.
• 분산 데이터 처리를 위한 사용 가능한 주요 빅데이터 프레임워크들을 조사하기 위해.
• 통제된 실험을 통해 이러한 프레임워크의 성능을 평가하기 위해.
• 다양한 응용 분야에 대한 빅데이터 프레임워크 배포를 위한 최적의 실천 방안을 도출하기 위해.
• 배치 처리, 스트림 처리 및 반복 계산과 같은 사용 사례 요구사항에 기반한 프레임워크 선택 가이드라인을 제공하기 위해.

제안 방법

• 아키텍처 설계 및 핵심 기능에 중점을 두고 기존 빅데이터 프레임워크에 대한 체계적 서베이.
• 표준화된 벤치마크 및 워크로드를 사용한 프레임워크 성능에 대한 실험적 평가.
• 실행 시간, 확장성 및 자원 활용도와 같은 메트릭을 기반으로 프레임워크 간 비교.
• 기계학습 및 그래프 처리 워크로드를 포함한 실세계 시나리오에서의 프레임워크 행동 분석.
• 프레임워크 효율성을 향상시키는 설계 패턴 및 설정 관행 식별.
• 배치 처리 및 실시간 분석과 같은 특정 응용 분야에 대한 프레임워크 강점과 한계 매핑.

실험 결과

연구 질문

• RQ1 대규모 빅데이터 처리 시 주요 과제는 무엇이며, 현대적 프레임워크는 이를 어떻게 해결하는가?
• RQ2 다양한 워크로드에서 주요 빅데이터 프레임워크들의 성능과 자원 효율성 측면에서 어떻게 비교되는가?
• RQ3 기계학습 및 그래프 처리 워크로드에 가장 적합한 프레임워크는 무엇이며, 그 이유는 무엇인가?
• RQ4 실세계 배포에서 프레임워크 성능을 극대화하는 데 핵심이 되는 설정 및 아키텍처 관행는 무엇인가?
• RQ5 프레임워크 설계 선택 사항은 분산 환경에서의 확장성과 장애 내성에 어떤 영향을 미치는가?

주요 결과

• 실험적 평가 결과, 워크로드 유형에 따라 프레임워크 간 성능 차이가 뚜렷하게 드러났다.
• Apache Spark와 같은 배치 처리 프레임워크는 메모리 기반 계산 덕분에 반복적 기계학습 작업에서 Hadoop MapReduce를 뛰어넘는 성능을 보였다.
• Apache Flink과 같은 스트림 처리 프레임워크는 실시간 데이터 처리에서 Storm에 비해 열등한 지연 시간 성능을 보였다.
• GraphX와 Neo4j와 같은 그래프 처리 프레임워크는 그래프 크기와 액세스 패턴에 따라 효율성이 다양하게 나타났다.
• 적절한 데이터 파artitioning 및 메모리 튜닝과 같은 최적의 실천 방안은 특정 워크로드에서 프레임워크 성능을 최대 40% 향상시킬 수 있었다.
• 모든 분야에서 뛰어난 성능을 보이는 단일 프레임워크는 존재하지 않았으며, 프레임워크 선택은 특정 응용 요구사항과 데이터 특성에 따라 이끌려야 했다.