[論文レビュー] Fast and Simple Relational Processing of Uncertain Data

Lyublena Antova, Thomas Jansen+2 more|ArXiv.org|Jul 11, 2007

Data Management and Algorithms参考文献 11被引用数 5

ひとこと要約

本稿では、標準的なリレーショナルデータベース管理システム（RDBMS）技術を用いて、純粋にリレーショナルな手法でクエリを効率的に処理できる、不確実性データベースのための簡潔な属性レベル表現であるU-関係を導入する。垂直分割とワールドテーブルモデルを活用することで、U-関係は正のリレーショナル代数クエリを多項式時間で評価可能であり、タプルレベルおよびラインレージュベース表現と比較して指数的である簡潔さを達成する。クエリ評価のパフォーマンスはデータサイズおよび不確実性レベルに比例して線形にスケーリングされる。

ABSTRACT

This paper introduces U-relations, a succinct and purely relational representation system for uncertain databases. U-relations support attribute-level uncertainty using vertical partitioning. If we consider positive relational algebra extended by an operation for computing possible answers, a query on the logical level can be translated into, and evaluated as, a single relational algebra query on the U-relation representation. The translation scheme essentially preserves the size of the query in terms of number of operations and, in particular, number of joins. Standard techniques employed in off-the-shelf relational database management systems are effective for optimizing and processing queries on U-relations. In our experiments we show that query evaluation on U-relations scales to large amounts of data with high degrees of uncertainty.

研究の動機と目的

• 大規模な不確実性を有するデータを、高い不確実性度においても効率的に表現・クエリ可能とする課題に対処すること。
• 標準的なリレーショナルデータベース管理システム（RDBMS）と完全に互換性を持つ、簡潔な表現システムを開発すること。
• カスタムクエリ最適化や高コストの信頼性計算を必要とせずに、不確実性データ上の効率的なクエリ評価を可能にすること。
• データクリーニングや科学的データベースにおいて重要な細粒度の独立性を持つ属性レベルの不確実性をサポートすること。
• 既存のRDBMS技術の上に簡単に実装可能な、シンプルで拡張可能な形式的枠組みを提供すること。

提案手法

• 各属性を別々のU-関係として保存する垂直分割を用いて、不確実な関係を表現し、NULL値を変数代入に置き換える。
• あり得る世界の集合を、属性間の変数代入のすべての組み合わせを含むワールドテーブルWとしてモデル化する。
• 不確実性データ上の論理的クエリを、U-関係スキーマ上で標準的なリレーショナル代数クエリに翻訳し、演算およびジョインの数を保持する。
• U-関係上で選択およびジョイン操作を局所的に実行し、完全なタプル再構築を、成功するパスのみがマテリアライズされた段階に延期する（遅延マテリアライゼーション）。
• U-関係スキーマ上で、インデックス作成やクエリプランニングなどの標準的なRDBMS最適化技術を活用して評価を加速する。
• ワールドテーブルWに確率カラムを追加することで、形式的枠組みを確率的不確実性へ拡張し、クエリ処理論理を変更せずに確率的クエリ評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 純粋にリレーショナルな不確実性データ表現が、標準的なRDBMS技術を用いても簡潔かつ効率的にクエリ可能であるか。
• RQ2 属性レベルの不確実性表現は、タプルレベルやラインレージュベースのアプローチと比較して、空間的および時間的効率性においてどのように異なるか。
• RQ3 U-関係に標準的なリレーショナル代数演算子を直接適用しても、パフォーマンス劣化が生じない程度にどの程度まで適用可能か。
• RQ4 不確実性比、相関、規模が、U-リレーショナルシステムにおけるクエリ評価パフォーマンスに与える影響はどの程度か。
• RQ5 U-関係を確率的不確実性をサポートするように拡張可能であり、かつ効率的なクエリ評価を維持できるか。

主な発見

• U-関係はタプルレベル表現およびWSDと比較して指数的である簡潔さを達成し、入力サイズが不確実性およびスケールに比例して線形に増加する一方、クエリ評価時間は線形に増加する。
• U-関係上でのクエリ評価は効率的にスケーリングされる：10%の不確実性比では、Q1では最大6倍、Q2では4倍、Q3では10倍の評価時間増加にとどまる。
• 相関比が0.1から0.5に上昇した場合、評価時間は最大3倍に増加したが、主に入力および出力サイズの増大に起因する。
• データサイズを0.01から1.0にスケーリングした場合、評価時間は最大400倍に増加した。特に高相関下ではQ3で1000倍に達する外れ値も観察された。
• 属性レベルのU-関係は、タプルレベルのU-関係およびULDBと比較して、遅延マテリアライゼーションと中間結果サイズの削減により、クエリ評価時間で最大1桁の高速化を達成する。
• 大規模なシナリオでは、タプルレベル表現は容量的に非現実的になることが明らかになった—例としてlineitemは1500万タプルに達したが、垂直分割では1つのパーティションあたり8万タプルにとどまった—これにより、属性レベル表現はスケーラビリティにとって不可欠であると判明した。