[論文レビュー] Web data modeling for integration in data warehouses

Sami Miniaoui, Jérôme Darmont+1 more|arXiv (Cornell University)|May 10, 2007

Advanced Database Systems and Queries参考文献 11被引用数 7

ひとこと要約

本論文では、テキスト、画像、XML、マルチメディアなどの異種のウェブデータを、XML論理モデルに変換することでデータウェアハウスに統合するUMLベースの概念的モデルを提案する。このアプローチにより、統一された保存、DTDによるメタデータの強化、リレーショナルデータベースへのスムーズなマッピングが可能となり、OLAPおよびデータマイニングのためのデータ準備が向上するとともに、拡張性とパフォーマンス最適化をサポートする。

ABSTRACT

In a data warehousing process, the data preparation phase is crucial. Mastering this phase allows substantial gains in terms of time and performance when performing a multidimensional analysis or using data mining algorithms. Furthermore, a data warehouse can require external data. The web is a prevalent data source in this context, but the data broadcasted on this medium are very heterogeneous. We propose in this paper a UML conceptual model for a complex object representing a superclass of any useful data source (databases, plain texts, HTML and XML documents, images, sounds, video clips...). The translation into a logical model is achieved with XML, which helps integrating all these diverse, heterogeneous data into a unified format, and whose schema definition provides first-rate metadata in our data warehousing context. Moreover, we benefit from XML's flexibility, extensibility and from the richness of the semi-structured data model, but we are still able to later map XML documents into a database if more structuring is needed.

研究の動機と目的

• テキスト、画像、XML、マルチメディアを含む極めて多様なウェブデータをデータウェアハウスに統合する課題に対処すること。
• 構造化データと準構造化データの両方をサポートする単一の概念的モデルによって、多様なデータソースを統一すること。
• 基本的なETLを越えて、意味的・構造的な知能を統合することで、多次元分析およびデータマイニングのためのデータ準備を強化すること。
• パフォーマンスおよびクエリ最適化を実現するため、XML論理モデルからリレーショナルまたはオブジェクトリレーショナルデータベースへの効率的なマッピングを可能にすること。
• XMLスキーマの機能（型付け、継承など）を活用して、将来の拡張性をサポートすること。

提案手法

• ウェブ上で見られるすべてのマルチフォーマットデータ型を一般化する複雑なオブジェクトのためのUML概念的モデルの設計。
• データとメタデータを1つの形式で表現するために、UMLモデルをXMLドキュメント型定義（DTD）に変換すること。
• XMLの柔軟性と拡張性を活用して、HTML、XML、プレーンテキスト、画像、音声などの多様なデータソースを1つの論理的構造に統合すること。
• 従来の技術を活用して、XMLドキュメントから従来のリレーショナルデータベースへのマッピングを可能にし、クエリパフォーマンスとデータ構造化を向上させること。
• XMLの準構造的性質を活かして、厳密なスキーマの事前定義がなくても、サイズ、フォーマット、キーワード、寸法などのメタデータ豊富な記述を可能にすること。
• 将来的にデータマイニング技術をデータ準備フェーズに統合し、キーワード抽出、色の分布、テクスチャなどの特徴を抽出してインデキシングや集計に活用することを計画すること。

実験結果

リサーチクエスチョン

• RQ1 複雑で多様なウェブデータソースを、データウェアハウス用途に統合するための単一の概念的モデルはどのように構築できるか？
• RQ2 マルチフォーマットデータの論理データモデルにおいて、データとメタデータを効果的に表現する最良の方法は何か？
• RQ3 XMLは、データウェアハウスの文脈において、準構造的データと構造的リレーショナルデータベースの間のブリッジとしてどのように機能できるか？
• RQ4 自動キーワード抽出や特徴検出などのインテリジェントな前処理は、OLAPおよびデータマイニングのためのデータ準備をどのように向上させ得るか？
• RQ5 進化するデータソースと利用パターンを、スケーラブルなデータウェアハウスアーキテクチャで効果的に管理するにはどうすればよいか？

主な発見

• 提案されたUMLからXMLへのモデルは、テキスト、画像、XML、マルチメディアを含む多様なデータタイプを、1つの拡張可能で包括的な概念的フレームワークに統合することに成功した。
• XMLのDTDを用いることで、サイズ、フォーマット、言語、キーワードなどのデータ特性を豊富に記述できる第一級のメタデータサポートが可能になった。
• 論理モデルはリレーショナルデータベースへの直接マッピングをサポートしており、既存のデータウェアハウスインfraやクエリ最適化と互換性がある。
• 基本的なETLを越えて、自動特徴抽出（例：色、テクスチャ）やキーワード生成といった知能をデータ準備段階に統合できる。
• XMLスキーマを活用することで、DTDでは利用できない高度な型付けや継承を含む、将来的な拡張が可能である。
• 使用パターンに応じた物理的データ再編成が可能であり、多次元分析におけるクエリ応答時間を向上させることができる。