[논문 리뷰] Scalable Data Cube Analysis over Big Data

Zhengkui Wang, Yan Chu외 4명|arXiv (Cornell University)|2013. 11. 22.

Advanced Database Systems and Queries참고 문헌 27인용 수 13

한 줄 요약

이 논문은 대규모 데이터에서 효율적인 데이터 큐브 분석을 위한 확장성 있는 MapReduce 확장인 HaCube를 제안한다. 이는 MapReduce의 확장성과 병렬 DBMS의 효율성을 융합한다. 새로운 배치 기반 큐빙 알고리즘(CubeGen)과 새로운 계산 파라다임(MMRR)을 도입하여 로드 밸런싱, 인크리멘탈, 재계산 가능한 뷰 유지보수를 가능하게 하여, 수십억 건의 튜플을 포함하는 대규모 TPC-D 워크로드에서 Hadoop 대비 1.6x–2.8x의 성능 향상을 달성한다.

ABSTRACT

Data cubes are widely used as a powerful tool to provide multidimensional views in data warehousing and On-Line Analytical Processing (OLAP). However, with increasing data sizes, it is becoming computationally expensive to perform data cube analysis. The problem is exacerbated by the demand of supporting more complicated aggregate functions (e.g. CORRELATION, Statistical Analysis) as well as supporting frequent view updates in data cubes. This calls for new scalable and efficient data cube analysis systems. In this paper, we introduce HaCube, an extension of MapReduce, designed for efficient parallel data cube analysis on large-scale data by taking advantages from both MapReduce (in terms of scalability) and parallel DBMS (in terms of efficiency). We also provide a general data cube materialization algorithm which is able to facilitate the features in MapReduce-like systems towards an efficient data cube computation. Furthermore, we demonstrate how HaCube supports view maintenance through either incremental computation (e.g. used for SUM or COUNT) or recomputation (e.g. used for MEDIAN or CORRELATION). We implement HaCube by extending Hadoop and evaluate it based on the TPC-D benchmark over billions of tuples on a cluster with over 320 cores. The experimental results demonstrate the efficiency, scalability and practicality of HaCube for cube analysis over a large amount of data in a distributed environment.

연구 동기 및 목표

• 대규모 데이터에서 데이터 큐브 분석의 증가하는 계산 부담, 특히 복잡한 집계 및 빈번한 업데이트 상황을 해결하기 위해.
• OLAP 워크로드에서 MapReduce의 확장성과 병렬 DBMS의 효율성을 모두 활용하는 확장성 있고 효율적인 시스템을 설계하기 위해.
• 고주기적 업데이트가 이루어지는 분산형, 추가 전용 환경에서의 효율적인 큐브 물리화 및 뷰 유지보수를 가능하게 하기 위해.
• 지능적인 큐브로드 배치 및 로드 밸런싱을 통해 MapReduce 기반 큐브 처리에서 I/O 및 셔플 오버헤드를 최소화하기 위해.
• 다양한 집계 함수, 특히 복잡한 통계 연산을 포함한, 인크리멘탈 및 재계산 기반의 뷰 유지보수를 지원하기 위해.

제안 방법

• 데이터 큐브 처리를 위한 효율성을 높이기 위해 MMRR(MAP-MERGE-REDUCE-REFRESH)라고 불리는 새로운 계산 파라다임을 MapReduce에 확장한다.
• 데이터 셔플링을 최소화하고 부분 작업 재사용을 가능하게 하기 위해 접두사 순서 기반으로 큐브로드를 배치하는 일반적인 큐빙 알고리즘인 CubeGen을 도입한다.
• 중간 데이터 캐싱을 위한 로컬 스토어를 활용하여 데이터 국소성 향상과 I/O 감소를 도모하며, 반복적 또는 인크리멘탈 작업에 특히 유리하다.
• 큐브로드를 접두사 순서 기반으로 분할하고 리듀서에 분산 배포하여 계산 부하를 균형 있게 분배하는 로드 밸런싱 전략을 적용한다.
• 두 가지 모드를 통해 뷰 유지보수를 지원한다: 대수적 집계 함수(SUM, COUNT 등)에 적합한 인크리멘탈 계산 모드와 비대수적 집계 함수(MEDIAN, CORRELATION 등)에 적합한 재계산 모드.
• Hadoop를 확장하여 HaCube를 구현함으로써 기존 빅데이터 파이프라인과의 통합을 가능하게 하고, 분산 스토리지로 HDFS를 활용한다.

실험 결과

연구 질문

• RQ1 Hadoop와 같은 대규모 분산 환경에서 데이터 큐브 물리화를 어떻게 효율적으로 병렬화할 수 있는가?
• RQ2 MapReduce에서 큐브로드를 배치하여 함께 처리함으로써 I/O 및 셔플 오버헤드를 줄일 수 있는가?
• RQ3 큐브 계산 중 리듀서 간에 로드 밸런싱을 어떻게 달성하여 핫스팟을 방지하고 확장성을 확보할 수 있는가?
• RQ4 추가 전용 데이터 웨어하우스 시스템에서 빈번한 업데이트 상황에서 효율적이고 확장 가능한 뷰 유지보수를 위한 메커니즘은 무엇인가?
• RQ5 인크리멘탈 및 재계산 전략을 융합한 하이브리드 접근 방식이 분산 큐브 시스템에서 다양한 집계 함수(예: 통계 함수)를 지원할 수 있는가?

주요 결과

• HaCube는 대규모 데이터셋에서의 데이터 큐브 물리화에 대해 난이도 높은 MapReduce 구현 대비 1.6x에서 2.2x의 성능 향상을 달성한다.
• 뷰 유지보수에서는 표준 Hadoop 대비 2.2x에서 2.8x의 성능 향상을 보이며, 인크리멘탈 및 재계산 시나리오 양쪽 모두에서 뚜렷한 성능 향상을 입증한다.
• 노드 수가 10에서 20으로 증가함에 따라 시스템은 선형적으로 확장되며, 자원을 두 배로 늘일 경우 실행 시간이 반으로 줄어들어 강력한 수평 확장성을 보여준다.
• 20개 노드를 초과하면 프레임워크 설정 오버헤드로 인해 추가 병렬 처리의 이점이 약간 감소하지만, 성능은 안정적이고 효율적으로 유지된다.
• CubeGen의 접두사 순서 기반 배치 전략은 효율적인 정렬과 부분 작업 재사용을 가능하게 하여 셔플 및 읽기 오버헤드를 감소시킨다.
• HaCube의 로컬 스토어 메커니즘은 HDFS에서의 중복 데이터 재로드 및 재셔플링을 방지하여 반복적 또는 인크리멘탈 워크플로우에서 성능 향상을 크게 개선한다.