[論文レビュー] Query Answering under Matching Dependencies for Data Cleaning: Complexity and Algorithms

Jaffer Gardezi, Leopoldo Bertossi|arXiv (Cornell University)|Dec 27, 2011

Data Quality and Management参考文献 30被引用数 3

ひとこと要約

本稿は、データクリーニングにおけるマッチング依存関係（MDs）の下での質問応答を調査し、解決された答え（すべての最小解釈インスタンス（MRIs）に対して不変であるもの）を効率的に計算するための、体系的な複雑性解析と、新たなクエリリライト手法を提案する。主な貢献はMD集合における二分法的結果と、再帰および集計を用いた正のDatalogによる tractable なリライトフレームワークであり、特定の種類の連言クエリおよびMDにおいて多項式時間評価を可能にする。

ABSTRACT

Matching dependencies (MDs) have been recently introduced as declarative rules for entity resolution (ER), i.e. for identifying and resolving duplicates in relational instance $D$. A set of MDs can be used as the basis for a possibly non-deterministic mechanism that computes a duplicate-free instance from $D$. The possible results of this process are the clean, "minimally resolved instances" (MRIs). There might be several MRIs for $D$, and the "resolved answers" to a query are those that are shared by all the MRIs. We investigate the problem of computing resolved answers. We look at various sets of MDs, developing syntactic criteria for determining (in)tractability of the resolved answer problem, including a dichotomy result. For some tractable classes of MDs and conjunctive queries, we present a query rewriting methodology that can be used to retrieve the resolved answers. We also investigate connections with "consistent query answering", deriving further tractability results for MD-based ER.

研究の動機と目的

• マッチング依存関係（MDs）の下で連言クエリに対する解決された答えを計算する際の計算複雑性を体系的に分析すること。
• MDs の下での解決されたクエリ応答の tractable と intractable なケースを区別する文法的基準を同定すること。
• すべてのMRIsを明示的に生成せずに、元の汚れたデータベースインスタンスから直接解決された答えを取得するクエリリライト手法を開発すること。
• キーコンストラント（KCs）に基づく一貫性のあるクエリ応答（CQA）とMDに基づくエンティティレゾリューションの間の関係を確立し、既存のCQA結果を活用すること。
• CQA への還元と集計に基づくクエリリライトを用いて、連言クエリを超えた tractable クエリクラスを拡張すること。

提案手法

• 汚れたデータベースからMDを用いて最小解釈インスタンス（MRIs）を計算する、チェースに類似した手順を提案し、反復的適用によって最小の変更を保証する。
• すべてのMRIsに共通する答えとしての解決された答えの概念を導入し、すべてのMRIsを明示的に生成する必要を回避する。
• 連言クエリを、再帰と集計を含む正のDatalogで表現可能な新しいクエリに変換するクエリリライトアルゴリズムを開発し、元の汚れたインスタンス上で多項式時間で評価可能である。
• MDの集合の文法的性質に基づき、2つのMDの集合がデータに関してPTIMEまたはNP-hardであるかを分類する二分法的結果を適用する。
• MDに基づく解決されたクエリ応答を、キーコンストラント（KCs）を基盤として一貫性のあるクエリ応答（CQA）への還元を確立する。
• 最初階論理の拡張において集計（COUNT）を用いて、同一のキーを持つタプルのグループにおける頻度の高い値を捉え、非UJCQクエリに対して効率的なリライトを可能にする。

実験結果

リサーチクエスチョン

• RQ1 MDの下で解決された答えを計算する際の、文法的条件は何か？ これは tractable か、intractable か？
• RQ2 連言クエリを、元の汚れたデータベースインスタンスから直接解決された答えを計算できる新しいクエリにリライトできるか？
• RQ3 MDの下での解決されたクエリ応答の複雑性クラスは、キーコンストラントに基づく一貫性のあるクエリ応答（CQA）におけるものとどのように関係するか？
• RQ4 このクエリリライト手法はUJCQクラス外のクエリに拡張可能か？ もしそうなら、どのような条件下で可能か？
• RQ5 再帰と集計は、解決された答えの多項式時間評価を可能にする上で果たす役割は何か？

主な発見

• 2つのMDの集合について、文法的基準に基づき、解決された答えの計算がデータに関してPTIMEまたはNP-hardである二分法的結果を確立した。
• 特定の tractable なMDと連言クエリのクラスにおいて、再帰と集計を含む正のDatalogを用いた多項式時間で計算可能なクエリリライトが可能である。
• リライトされたクエリは、常に一階論理的であるとは限らないが、元の汚れたインスタンスに対して多項式時間で評価可能であり、正確に解決された答えを返す。
• MDに基づくエンティティレゾリューションと一貫性のあるクエリ応答（CQA）との間の正式な関係を確立し、CQAから得られる tractability 結果をMDに転用可能であることを示した。
• UJCQクラスを超えて拡張可能である：例えば、UJCQに属さないクエリであっても、集計とCQAに基づくリライトを用いることで、例22で示すようにリライト可能である。
• リライトされたクエリにおける集計（COUNT）の使用は、同一のキーを持つタプルのグループにおける最頻値を捉え、明示的なMRI計算なしに効率的な解像を可能にする。