[論文レビュー] 10^(10^6) Worlds and Beyond: Efficient Representation and Processing of Incomplete Information

Lyublena Antova, Christoph Koch+1 more|ArXiv.org|Jun 16, 2006

Data Management and Algorithms参考文献 19被引用数 16

ひとこと要約

本稿では、不完全なデータベースにおける膨大な数の可能な世界の集合を空間的に効率的かつ完全に表現するためのWorld-Set Decompositions (WSDs) を提案する。世界集合関係をテンプレート関係とコンポonent関係に分解することにより、WSDs は単一の世界に対するクエリと同等の性能を達成する効率的なクエリ評価を可能にするとともに、最大 10^(10^6) 個の世界までスケーラブルであることが、インデックスデータの実験で示された。

ABSTRACT

Current systems and formalisms for representing incomplete information generally suffer from at least one of two weaknesses. Either they are not strong enough for representing results of simple queries, or the handling and processing of the data, e.g. for query evaluation, is intractable. In this paper, we present a decomposition-based approach to addressing this problem. We introduce world-set decompositions (WSDs), a space-efficient formalism for representing any finite set of possible worlds over relational databases. WSDs are therefore a strong representation system for any relational query language. We study the problem of efficiently evaluating relational algebra queries on sets of worlds represented by WSDs. We also evaluate our technique experimentally in a large census data scenario and show that it is both scalable and efficient.

研究の動機と目的

• 実世界のデータベースにおける不完全な世界の集合の表現とクエリ処理におけるスケーラビリティと効率性の課題に対処すること。
• or-sets や c-tables といった既存の形式的定式化の限界を克服すること。これらは表現力に欠けるか、クエリ評価が非効率である。
• 構造的依存関係や世界間の共通性を保持することで、不完全データに対する実用的なデータクリーニングとクエリ処理を可能にすること。
• 世界集合の完全で損失のない、かつ空間的に効率的な符号号化を可能にする表現の設計。特に世界数が天文学的な大きさであっても有効であるようにすること。

提案手法

• 世界集合関係をテンプレート関係とコンポonent関係の積に分解するWorld-Set Decompositions (WSDs) を導入し、その積が元の世界集合を再構成できることを保証する。
• コンポonent関係を用いて、属性間の依存関係（例：タプル間の社会保障番号）を捉え、テンプレート関係を用いて独立的で共有される属性（例：名前）を格納する。
• 属性の独立性に基づくコンポonentベースの分解戦略を採用し、互いに依存する属性を同じコンポonentにグループ化する。
• UWSDT（Unordered World-Set Decomposition Tables）上で直接、リlations代数演算（選択、投影、自然結合）を適用し、正しさと効率性を保持する。
• WSD上のクエリを分解された関係に対する同等のクエリに変換するリライト戦略を採用し、コンポonent関係のサイズの増大を最小限に抑える。
• 大規模なインデックスデータセットを用いた実験的評価により、スケーラビリティと性能を検証し、UWSDTに基づく評価を単一世界およびナイーブな世界集合アプローチと比較する。

実験結果

リサーチクエスチョン

• RQ1 10^(10^6) 個以上の世界を含むような、明示的に格納できないほどの巨大な世界集合に対して、コンパクトで完全かつ損失のない表現を設計できるか？
• RQ2 このような表現に対して、すべての世界を明示的に生成せずに、効率的なリレーション代数クエリの評価が可能か？
• RQ3 分解戦略がクエリの意味を保持するとともに、空間的・時間的複雑性を低減できるか？
• RQ4 実際の運用において、WSD上のクエリ評価の性能は単一世界データベースのものと比べてどの程度か？
• RQ5 WSDは、局所的な依存関係と高い構造的重複を示す実世界の不完全データを効果的にモデル化できるか？

主な発見

• 提案されたWorld-Set Decomposition (WSD) 表現は、最大 10^(10^6) 個の可能な世界を持つ集合に対しても、単一の世界とほぼ同等の空間効率を達成する。UWSDTのサイズは単一の世界とほぼ同じである。
• UWSDT上のクエリ評価は、単一の世界と同等の時間で実行され、実験結果からデータ密度の変化に対しても最小限の性能低下が観察された。
• 分解戦略は依存関係（例：社会保障番号の一意性制約）を効果的に捉えており、or-sets関係では表現できない結果の表現が可能になった。
• 1250万行のインデックスデータセットを用いた実験では、UWSDTベースのクエリ処理が効率的にスケーリングされ、データサイズや複雑さの増加に伴い評価時間はわずかに増加した。
• ジョインやサブクエリを含む複雑なクエリに対しても、WSDは効果的に処理でき、理論的な指数的最悪ケース複雑性にかかわらず、実用的にはコンポonentの合成が扱える。
• Postgresにおけるメモリ管理の問題が最大のケースで観察されたが、データをチャンクに分割することで性能は安定したまま維持され、本手法の実用的妥当性が裏付けられた。