[論文レビュー] Warehousing Web Data

Jérôme Darmont, Omar Boussaïd+1 more|arXiv (Cornell University)|May 10, 2007

Advanced Database Systems and Queries参考文献 23被引用数 4

ひとこと要約

本論文は、異種のウェブデータを統一されたデータウェアハウス形式に統合する包括的なモデリングフレームワークを提案する。UMLを用いて概念的モデリングを行い、XMLスキーマで論理的表現を定義し、Javaプロトタイプを用いて多様な形式のデータをXMLに変換し、リレーショナルODSに格納することで、その後続のスターチャートを用いた多次元モデリングを可能にし、分析およびマイニングのための効率的処理を実現する。

ABSTRACT

In a data warehousing process, mastering the data preparation phase allows substantial gains in terms of time and performance when performing multidimensional analysis or using data mining algorithms. Furthermore, a data warehouse can require external data. The web is a prevalent data source in this context. In this paper, we propose a modeling process for integrating diverse and heterogeneous (so-called multiform) data into a unified format. Furthermore, the very schema definition provides first-rate metadata in our data warehousing context. At the conceptual level, a complex object is represented in UML. Our logical model is an XML schema that can be described with a DTD or the XML-Schema language. Eventually, we have designed a Java prototype that transforms our multiform input data into XML documents representing our physical model. Then, the XML documents we obtain are mapped into a relational database we view as an ODS (Operational Data Storage), whose content will have to be re-modeled in a multidimensional way to allow its storage in a star schema-based warehouse and, later, its analysis.

研究の動機と目的

• 多様で異種のウェブデータソースを統合的に統合可能なデータウェアハウス環境を構築する課題に対処すること。
• 多次元分析およびデータマイニングにおける時間短縮とパフォーマンス向上を図るために、データ準備の効率を向上させること。
• スキーマ定義を通じて、ウェアハウス内でのデータのルートおよび品質管理を支援する、上位のメタデータを提供すること。
• 構造的・準構造的・非構造的な多様な形式のウェブデータを、標準化され、機械で処理可能な形式に変換することを可能にすること。
• 生のウェブデータからオペレーショナルデータストア（ODS）へのパイプラインを確立し、その後続の多次元モデリングおよび分析を可能にすること。

提案手法

• 複雑なオブジェクトおよび関係を表現するために、UMLクラス図を用いて多様な形式のデータの概念的スキーマをモデリングする。
• 異種データの表現を標準化するために、XMLスキーマ（XSD）を用いて論理的データモデルを定義する。
• 多様な入力データ形式を標準化されたXML文書にパースおよび変換するJavaベースのプロトタイプを開発する。
• 得られたXML文書を、一時的なストレージおよび処理のためのリレーショナルオペレーショナルデータストア（ODS）にマッピングする。
• ODSの内容を、長期的な多次元データウェアハウスのストレージ用にスタースキーマに変換するプロセスを支援する。
• スキーマ定義自体を、データのルート、品質、統合を支援する豊富なメタデータのソースとして活用する。

実験結果

リサーチクエスチョン

• RQ1 異種かつ多様な形式のウェブデータを、統一されたデータウェアハウスフレームワークに効果的にモデリングおよび統合する方法は何か？
• RQ2 スキーマ定義は、データウェアハウス化プロセスにおいて、上位のメタデータを提供するために果たす役割は何か？
• RQ3 概念的UMLモデルを、データ標準化のための論理的XMLスキーマに体系的に変換する方法は何か？
• RQ4 多様なウェブデータを構造化されたXMLに変換するためのJavaプロトタイプの実用性および有効性は何か？
• RQ5 ウェブデータからODS、そしてスタースキーマへの提案されたパイプラインは、効率的な多次元分析およびデータマイニングをどのように支援するか？

主な発見

• 提案されたモデリングパイプラインは、UMLおよびXMLスキーマを用いて、異種のウェブデータを標準化されたXML形式に効果的に変換した。
• 論理的XMLスキーマモデルは、その構造自体に内在するメタデータを提供し、データの理解およびルート追跡を向上させた。
• Javaプロトタイプは、多様な形式のデータをXMLに自動変換する可能性を実証した。
• ODSは、多次元分析のためのスタースキーマへの後続モデリングを可能にする、効果的な中間ストレージレイヤーとして機能した。
• パイプライン全体は、データ準備の効率を高め、その後続のデータマイニングおよびOLAP操作における時間短縮とパフォーマンス向上を実現した。
• 本アプローチは、企業のデータウェアハウスシステムへの外部ウェブデータのスケーラブルな統合を可能にし、データ品質および一貫性の向上を実現した。