[論文レビュー] A Unified Approach to Ranking in Probabilistic Databases

Jian Li, Barna Saha+1 more|arXiv (Cornell University)|Apr 8, 2009

Data Management and Algorithms参考文献 54被引用数 8

ひとこと要約

本稿では、生成関数に基づく効率的な top-k クエリ処理を可能にする2つのパラメータ化された順序付け関数 PRF^ω および PRF^e を用いて、確率的データベースにおける順序付けの統一的枠組みを提案する。主な貢献は、相関のある確率的データに対してスケーラブルかつ正確または近似された順序付けを実現することであり、ユーザーの好みからのパラメータ学習を可能にしている。

ABSTRACT

The dramatic growth in the number of application domains that naturally generate probabilistic, uncertain data has resulted in a need for efficiently supporting complex querying and decision-making over such data. In this paper, we present a unified approach to ranking and top-k query processing in probabilistic databases by viewing it as a multi-criteria optimization problem, and by deriving a set of features that capture the key properties of a probabilistic dataset that dictate the ranked result. We contend that a single, specific ranking function may not suffice for probabilistic databases, and we instead propose two parameterized ranking functions, called PRF-w and PRF-e, that generalize or can approximate many of the previously proposed ranking functions. We present novel generating functions-based algorithms for efficiently ranking large datasets according to these ranking functions, even if the datasets exhibit complex correlations modeled using probabilistic and/xor trees or Markov networks. We further propose that the parameters of the ranking function be learned from user preferences, and we develop an approach to learn those parameters. Finally, we present a comprehensive experimental study that illustrates the effectiveness of our parameterized ranking functions, especially PRF-e, at approximating other ranking functions and the scalability of our proposed algorithms for exact or approximate ranking.

研究の動機と目的

• 不確実性と相関が従来の順序付け手法を複雑にする確率的データベースにおけるタプルの順序付けの課題に対処すること。
• ユーザーの好みやデータの特性の違いにより、あらゆる確率的データセットに適した単一の順序付け関数が存在しないことを見抜くこと。
• 既存のアプローチを統合し、異なるデータやユーザーのニーズに適応可能な柔軟なパラメータ化された順序付け関数を備えた一般化された順序付け枠組みを開発すること。
• 確率的かつ XOR 樹木やマルコフネットワークでモデル化された複雑な相関を伴う大規模な相関のある確率的データベースに対して、正確または近似された top-k クエリ処理を効率的に行うアルゴリズムを設計すること。
• 実世界の応用において結果のパーソナライズを向上させるために、ユーザーのフィードバックや好みデータから順序付け関数のパラメータを学習可能にする仕組みを提供すること。

提案手法

• 順序付けを確率的データベースにおいて多基準最適化問題として定式化し、順序付け結果に影響を与える重要な特徴を同定する。
• 2つのパラメータ化された順序付け関数、PRF^ω（線形加重和）および PRF^e（指数関数ベース）を提案し、これらは既存の順序付け関数を一般化および近似する。
• 確率的かつ XOR 樹木やマルコフネットワークでモデル化された複雑な相関でさえも、効率的にタプルスコアを計算できる、新規の生成関数に基づくアルゴリズムを開発する。
• 互いに排他的または共存する相関関係を持つデータセットに対して最適化し、このような構造において優れたパフォーマンスを達成する。
• 任意の順序付け関数を、PRF^e 関数の線形結合によって近似する手法を導入し、調整可能な精度で高速な近似順序付けを可能にする。
• ユーザーのフィードバックや好みデータから最適な順序付け関数のパラメータを推定するための好み学習メカニズムを設計する。

実験結果

リサーチクエスチョン

• RQ1 多様な不確実性や相関構造を示す確率的データベースを効果的に処理できる、単一の普遍的な順序付け関数は可能か？
• RQ2 確率的データベースにおける複数の既存の順序付けアプローチを一般化・近似できるように、順序付け関数をどのようにパラメータ化できるか？
• RQ3 大規模で相関のある確率的データセットに対して、正確または近似された top-k クエリ処理を支える効率的なアルゴリズム的技術は何か？
• RQ4 ユーザーの好みから順序付け関数のパラメータを学習することで、結果のパーソナライズをどのように向上させられるか？
• RQ5 PRF^e などの単純なパラメータ化された代替関数を用いて複雑な順序付け関数を近似する際の、正確性と効率性のトレードオフは何か？

主な発見

• PRF^e 順序付け関数は、高い正確性で、確率的データベースにおける既に提案済みの多数の順序付け関数を効果的に近似する。
• 生成関数に基づくアルゴリズムは、j边木の木幅を tw とすると、データセットの順序付けに O(n⁴2^tw) の時間計算量を達成し、相関のあるデータ処理においても効率的である。
• 本手法は、確率的 AND/XOR 樹木やマルコフネットワークでモデル化された複雑な相関を有する大規模な確率的データベースに対しても、良好にスケーリングする。
• ユーザーの好みからの順序付け関数のパラメータ学習により、ユーザー固有の優先順位に一致するパーソナライズされた top-k 結果が得られる。
• 任意の順序付け関数を PRF^e 関数の線形結合で近似する手法により、制御可能な誤差バウンダを備えた高速でスケーラブルかつ正確な近似順序付けが可能になる。
• 実験的評価により、PRF^e が PRF^ω よりも大規模なデータセットおよび複雑な依存関係を有するデータセットにおいて、スケーラビリティと有効性の点で優れていることが確認された。