[論文レビュー] Scalable Data Cube Analysis over Big Data

Zhengkui Wang, Yan Chu+4 more|arXiv (Cornell University)|Nov 22, 2013

Advanced Database Systems and Queries参考文献 27被引用数 13

ひとこと要約

この論文では、大規模データに対する効率的なデータキューブ分析を実現するスケーラブルなMapReduce拡張であるHaCubeを提案する。MapReduceのスケーラビリティと並列DBMSの効率性を組み合わせたものである。新規のバッチ処理キュービングアルゴリズム（CubeGen）と、新しい計算パラダイム（MMRR）を導入し、負荷分散、インクリメンタル、再計算可能なビュー保守を可能にした。TPC-Dワークロード（数十億レコード）において、Hadoopに比べ1.6倍～2.8倍の高速化を達成した。

ABSTRACT

Data cubes are widely used as a powerful tool to provide multidimensional views in data warehousing and On-Line Analytical Processing (OLAP). However, with increasing data sizes, it is becoming computationally expensive to perform data cube analysis. The problem is exacerbated by the demand of supporting more complicated aggregate functions (e.g. CORRELATION, Statistical Analysis) as well as supporting frequent view updates in data cubes. This calls for new scalable and efficient data cube analysis systems. In this paper, we introduce HaCube, an extension of MapReduce, designed for efficient parallel data cube analysis on large-scale data by taking advantages from both MapReduce (in terms of scalability) and parallel DBMS (in terms of efficiency). We also provide a general data cube materialization algorithm which is able to facilitate the features in MapReduce-like systems towards an efficient data cube computation. Furthermore, we demonstrate how HaCube supports view maintenance through either incremental computation (e.g. used for SUM or COUNT) or recomputation (e.g. used for MEDIAN or CORRELATION). We implement HaCube by extending Hadoop and evaluate it based on the TPC-D benchmark over billions of tuples on a cluster with over 320 cores. The experimental results demonstrate the efficiency, scalability and practicality of HaCube for cube analysis over a large amount of data in a distributed environment.

研究の動機と目的

• 大規模データにおけるデータキューブ分析の計算負荷の増大に応じて、特に複雑な集計関数や頻繁な更新に対処すること。
• MapReduceのスケーラビリティと並列DBMSの効率性を活かした、スケーラブルで効率的なOLAPワークロード向けのシステム設計。
• 高頻度の更新が行われる分散型、アペンドオンリー環境において、効率的なキューブ物化とビュー保守を実現すること。
• MapReduceベースのキューブ処理におけるI/Oおよびシャッフルのオーバーヘッドを低減するため、知的なキュービングバッチ処理と負荷分散を実現すること。
• 多様な集計関数、特に複雑な統計的演算を含む、インクリメンタルおよび再計算ベースのビュー保守をサポートすること。

提案手法

• MapReduceに新しい計算パラダイムであるMMRR（MAP-MERGE-REDUCE-REFRESH）を拡張し、効率的なデータキューブ処理を可能にする。
• 前綴順序に基づいてキュービングをバッチ処理する一般化されたキュービングアルゴリズムであるCubeGenを導入し、データシャッフルを最小限に抑え、部分的な作業再利用を可能にする。
• 中間データのキャッシュをローカルストアで行い、データローカリティを向上させ、I/Oを削減する。特に反復的またはインクリメンタルな処理において有効である。
• キュービングの負荷分散戦略として、キュービングの前綴順序に基づいてキュービングをパーティショニングし、リデューサー間で分散することで計算負荷のバランスを取る。
• ビュー保守は2つのモードでサポートされる：代数的集計関数（例：SUM、COUNT）にはインクリメンタル計算、非代数的関数（例：MEDIAN、CORRELATION）には再計算。
• Hadoopを拡張してHaCubeを実装し、既存の大規模データパイプラインとの統合を可能にするとともに、HDFSを分散ストレージとして活用する。

実験結果

リサーチクエスチョン

• RQ1 Hadoopのような大規模分散環境において、データキューブ物化をどのように効率的に並列化できるか？
• RQ2 MapReduceにおいて、キュービングをバッチ処理してI/Oおよびシャッフルのオーバーヘッドを削減できるか？
• RQ3 キューブ計算中にリデューサー間で負荷分散をどのように達成できるか？ホットスポットを回避し、スケーラビリティを確保するには？
• RQ4 アペンドオンリーのデータウェアハウスシステムにおいて、頻繁な更新に対応するための効率的でスケーラブルなビュー保守メカニズムとは何か？
• RQ5 インクリメンタル処理と再計算戦略を組み合わせたハイブリッドアプローチは、統計関数を含む多様な集計関数をサポートできるか？

主な発見

• HaCubeは、大規模データセットにおけるデータキューブ物化において、単純なMapReduce実装に比べ1.6倍～2.2倍の高速化を達成した。
• ビュー保守において、標準的なHadoopに比べ2.2倍～2.8倍の高速化を示し、インクリメンタルおよび再計算の両状況で顕著なパフォーマンス向上を実現した。
• ノード数を10から20に増加させた場合、実行時間はリソースを2倍にした際に半減するなど、ノード数に比例した線形的なスケーラビリティを示した。
• 20ノードを超えると、フレームワークのセットアップオーバーヘッドの影響により並列処理の恩恵がわずかに減少するが、パフォーマンスは安定的かつ効率的である。
• CubeGenの前綴順序に基づくバッチ処理戦略により、シャッフルおよび読み込みのオーバーヘッドが削減され、MapReduceにおける効率的なソーティングと部分的作業再利用が可能になった。
• HaCubeのローカルストアメカニズムにより、HDFSからのデータの再読み込みや再シャッフルを回避し、特に反復的またはインクリメンタルなワークフローにおいてパフォーマンスが向上した。