[論文レビュー] An Architecture Framework for Complex Data Warehouses

Jérôme Darmont, Omar Boussaïd+2 more|ArXiv.org|Jul 10, 2007

Advanced Database Systems and Queries参考文献 7被引用数 4

ひとこと要約

本論文は、メタデータおよびXMLを中心とするアーキテクチャフレームワークを提案し、階層的設計を通じて、複数形式、複数ソース、複数モードのデータを統合する、複雑なデータウェアハウスを管理するためのものである。このフレームワークは、仮想的および集中型のウェアハウスの両方をサポートし、複雑なデータ環境におけるETL、統合、分析、パフォーマンス最適化において、メタデータおよびドメイン固有の知識を重視している。

ABSTRACT

Nowadays, many decision support applications need to exploit data that are not only numerical or symbolic, but also multimedia, multistructure, multisource, multimodal, and/or multiversion. We term such data complex data. Managing and analyzing complex data involves a lot of different issues regarding their structure, storage and processing, and metadata are a key element in all these processes. Such problems have been addressed by classical data warehousing (i.e., applied to "simple" data). However, data warehousing approaches need to be adapted for complex data. In this paper, we first propose a precise, though open, definition of complex data. Then we present a general architecture framework for warehousing complex data. This architecture heavily relies on metadata and domain-related knowledge, and rests on the XML language, which helps storing data, metadata and domain-specific knowledge altogether, and facilitates communication between the various warehousing processes.

研究の動機と目的

• 複数形式、複数ソース、複数構造、複数モード、複数バージョンの特性を含む、複雑なデータの概念を定義および形式化すること。
• 従来のデータウェアハウスが非数値的で異種的かつ意味的に豊富なデータを処理する際の限界を解決すること。
• 仮想的および集中型の両方の複雑なデータウェアハウスをサポートする汎用的なアーキテクチャフレームワークを設計すること。
• メタデータおよびドメイン固有の知識が、複雑なデータの管理、統合、分析において果たす重要な役割を強調すること。
• データ統合、多次元モデリング、パフォーマンス最適化を含む、複雑なデータウェアハウスにおける主な課題を特定すること。

提案手法

• 複雑なデータを定義するための五軸フレームワーク（複数形式、複数構造、複数ソース、複数モード、複数バージョン）を提案する。
• ウェアハウスコア、メタデータおよび知識ベース層、および3つのコアプロセス（ETL/統合、管理/監視、分析/利用）からなる階層的アーキテクチャを導入する。
• すべてのレイヤーおよびプロセスで、XMLをデータ、メタデータ、通信フォーマットとして統合的に使用する。
• 4つのデータフロー（外部（ETLおよび分析）、内部（コアとメタデータ層間）、メタデータ管理、リファレンスフロー（メタデータを中央制御として使用））を定義する。
• ミドルウェアを介したオンザフライデータ統合による仮想ウェアハウスと、永続的XMLドキュメントストレージに基づく集中型XMLベースのウェアハウスの両方をサポートする。
• メタデータおよびドメイン知識の表現にXMLおよびRDFスキーマを提案し、CWMの統合による標準化の可能性を示唆する。

実験結果

リサーチクエスチョン

• RQ1 複数の異種的次元を持つ複雑なデータ—すなわち、多様な異種的特性を有するデータ—は、どのように形式的に特徴づけられ、従来のデータウェアハウスの入力と区別されるのか？
• RQ2 多様なソースおよびフォーマットからなる複雑なデータの統合、管理、分析を支援するための、必要なアーキテクチャ的構成要素は何か？
• RQ3 メタデータおよびドメイン固有の知識は、どのように体系的にモデル化され、データウェアハウスプロセスの改善に活用されるのか？
• RQ4 複雑なデータウェアハウスにおける主なパフォーマンスおよびスケーラビリティの課題は何か、そしてそれらはどのようにアーキテクチャ設計によって解決されるのか？
• RQ5 CWMのような既存の標準は、複雑なデータウェアハウスのニーズを満たすために、どの程度拡張または適合可能か？

主な発見

• 提案されたアーキテクチャフレームワークは、仮想的および集中型の両方のアプローチをサポートする包括的かつ拡張可能な複雑なデータウェアハウスのモデルを提供する。
• メタデータおよびドメイン固有の知識は、複雑さの管理において中心的役割を果たし、意味的理解とプロセスの調整を可能にする。
• XMLは、データ、メタデータ、通信の統合的フォーマットとして機能し、異種のソースおよびプロセス間の相互運用性を促進する。
• フレームワークは4つの異なるデータフローを特定し、リファレンスフローにより、すべての外部操作（ETL、分析）が一貫性と正しさを保つためにメタデータおよび知識に依存することを保証する。
• このアーキテクチャは、分析結果の再利用を新たなデータソースとして可能にし、反復的かつ進化するデータウェアハウスプロセスを支援する。
• 研究では、メタデータ表現に関する未解決の課題が特定され、特にCWMが複雑なデータワークロードに適しているかどうか、および拡張または新しいメタモデルの必要性が示唆されている。