[論文レビュー] An Approach to Handle Big Data Warehouse Evolution

Darja Solodovnikova, Laila Niedrite|arXiv (Cornell University)|Sep 12, 2018

Advanced Database Systems and Queries参考文献 10被引用数 3

ひとこと要約

本論文では、変化するデータソースと進化する分析要件に適応できる動的メタデータ管理を活用し、さまざまな遅延を持つ異種のマルチソースデータに対してOLAPに類似した分析を可能にする、メタデータ駆動型のデータウェアハウスアーキテクチャを提案する。このアプローチにより、変化するデータソースや進化する分析要件に柔軟かつスケーラブルに対応できるBig Data環境向けのデータウェアハウスが実現される。

ABSTRACT

One of the purposes of Big Data systems is to support analysis of data gathered from heterogeneous data sources. Since data warehouses have been used for several decades to achieve the same goal, they could be leveraged also to provide analysis of data stored in Big Data systems. The problem of adapting data warehouse data and schemata to changes in these requirements as well as data sources has been studied by many researchers worldwide. However, innovative methods must be developed also to support evolution of data warehouses that are used to analyze data stored in Big Data systems. In this paper, we propose a data warehouse architecture that allows to perform different kinds of analytical tasks, including OLAP-like analysis, on big data loaded from multiple heterogeneous data sources with different latency and is capable of processing changes in data sources as well as evolving analysis requirements. The operation of the architecture is highly based on the metadata that are outlined in the paper.

研究の動機と目的

• Big Data環境における進化するデータウェアハウススキーマおよびデータソースの課題に対処すること。
• バッチ処理およびリアルタイムストリームを含む、多様で異種のデータソースからのデータに対して、分析ワークロード（特にOLAPに類似したクエリ）をサポートすること。
• 変化する分析要件やデータソースの変更に応じて、データウェアハウス構造を動的に適応可能にすること。
• 中央集権的なメタデータ管理を用いて、スケーラブルかつ拡張可能なBig Dataウェアハウスの進化フレームワークを提供すること。
• 統一されたデータウェアハウス環境における異種のデータソース間の相互運用性および一貫性を確保すること。

提案手法

• スキーマ、データラインレージング、ETLプロセスを追跡するメタデータレイヤーを備えたモジュラーなデータウェアハウスアーキテクチャを設計する。
• 複数の異種のデータソース（例：バッチ処理およびリアルタイムストリーム）からのメタデータを、中央集権的なメタデータリポジトリに統合する。
• 進化する分析要件に応じて、メタデータを用いてETLパイプラインおよび物化ビューを動的に構成する。
• ソースデータソースの変更を追跡し、メタデータ駆動型の変換ルールを介してそれらを伝搬することで、スキーマの進化をサポートする。
• メタデータで定義された階層構造とメジャーを用いて多次元キューブを物化することで、OLAPに類似した分析を可能にする。
• データ処理ロジックとメタデータを分離し、スキーマの再定義なしに実行時における適応が可能になるようにする。

実験結果

リサーチクエスチョン

• RQ1 Big Data環境において、データソースの変化および進化する分析要件に動的に適応できるデータウェアハウスアーキテクチャはどのように実現できるか？
• RQ2 メタデータは、異種のデータソース間でのスキーマの進化とデータ統合をどのように支援するか？
• RQ3 遅延が異なるデータを扱うBig Dataウェアハウスにおいて、OLAPに類似した分析機能を効果的にサポートするにはどうすればよいか？
• RQ4 進化するデータソース間で、データ変換の一貫性とトレーサビリティを保証するメカニズムは何か？
• RQ5 メタデータ駆動型設計は、Big Dataウェアハウスの保守性および拡張性をどのように向上させるか？

主な発見

• 提案されたアーキテクチャにより、バッチ処理およびリアルタイムデータを含む、異なる遅延特性を持つ異種のデータソースからのデータをシームレスに処理できる。
• メタデータ駆動型設計により、下位のスキーマ構造を変更せずにETLプロセスおよび物化ビューの動的再構成が可能になる。
• ETLロジックやデータベーススキーマを再書き換えすることなく、メタデータの更新により分析要件の進化をサポートできる。
• メタデータで定義された階層構造とメジャーを用いることで、Big Data上で多次元クエリが可能なOLAPに類似した分析が実現される。
• 中央集権的なメタデータ管理とスキーマ定義からのロジック分離により、データウェアハウスの進化における運用負荷が削減される。
• IFIP W.G. 2.6ワーキンググループでの統合を通じて、実世界のシナリオでの実現可能性が実証され、Big Data管理分野への適用可能性が検証された。