[論文レビュー] Consistent Query Answering for Primary Keys and Conjunctive Queries with Counting

Amezian El Khalfioui, Aziz, Jef Wijsen|arXiv (Cornell University)|Aug 25, 2022

Data Quality and Management被引用数 1

ひとこと要約

本稿では、主キーを備えた環のないSPJクエリのクラスに対して、線形時間で一貫性のあるクエリ回答（CQA）を可能にするLinCQAというシステムを紹介する。これは、ペア・プルーニング・ジョインツリー（PPJT）を活用することで実現される。SQLおよびDatalogへの再書き換えを提供し、合成および実世界のワークロードにおいて、既存のCQAシステムと比較して、オーダー・オブ・マグニチュードの性能向上を達成する。特に、高い不整合性や大規模データサイズの下でも顕著な性能を発揮する。

ABSTRACT

Most data analytical pipelines often encounter the problem of querying inconsistent data that violate pre-determined integrity constraints. Data cleaning is an extensively studied paradigm that singles out a consistent repair of the inconsistent data. Consistent query answering (CQA) is an alternative approach to data cleaning that asks for all tuples guaranteed to be returned by a given query on all (in most cases, exponentially many) repairs of the inconsistent data. This paper identifies a class of acyclic select-project-join (SPJ) queries for which CQA can be solved via SQL rewriting with a linear time guarantee. Our rewriting method can be viewed as a generalization of Yannakakis's algorithm for acyclic joins to the inconsistent setting. We present LinCQA, a system that can output rewritings in both SQL and non-recursive Datalog rules for every query in this class. We show that LinCQA often outperforms the existing CQA systems on both synthetic and real-world workloads, and in some cases, by orders of magnitude.

研究の動機と目的

• 不一致データベースにおける既存の一貫性のあるクエリ回答（CQA）システムの非効率性と理論的保証の欠如に対処すること。
• CQAが線形時間で解ける、取り扱い可能な環のないSPJクエリのクラスを特定すること。
• NP-hardソルバーに依存せずに、効率的かつ正しいSQLおよびDatalog再書き換えを生成するシステムを設計・実装すること。
• 提案手法が、変動するデータサイズおよび不整合率の下でも、スケーラブルに動作することを示すこと。特に、最先端のCQAシステムを上回る性能を発揮すること。

提案手法

• ジョインクエリに適用可能な構造的条件であるペア・プルーニング・ジョインツリー（PPJT）の概念を導入し、これは一階論理再書き換え可能性と線形時間評価を保証する。
• PPJTを備えたクエリを、不一致データベース上で直接一貫性のある答えを計算する同等のSQLまたは非再帰的Datalogクエリに変換する再書き換えアルゴリズムを開発する。
• Yannakakisのアルゴリズムを不一致設定に拡張し、主キー制約を組み込み、ジョインツリー構造を用いて不一致タプルをプルーニングする。
• 標準のDBMSおよびDatalogエンジンとの統合を可能にするために、SQLおよびDatalog出力をサポートするLinCQAとしてのシステム実装を行う。
• 攻撃グラフの構造的性質に基づいて、線形時間CQAが可能な環のない自己ジョインなしSPJクエリの新しい特徴付けを提示する。
• 理論的分析と合成および実世界のワークロードにおける広範な実験を通じて、再書き換えの正しさと効率性を検証する。

実験結果

リサーチクエスチョン

• RQ1 主キー制約を備えた意味のある環のないSPJクエリのクラスに対して、一貫性のあるクエリ回答を線形時間で行うことは可能か？
• RQ2 不一致データが存在する状況下でも、一階論理再書き換え可能性と線形時間評価を保証するSPJクエリの構造的条件は存在するか？
• RQ3 このような条件を活用して、NP-hardソルバーを避ける効率的かつ正しいSQLまたはDatalog再書き換えを生成することは可能か？
• RQ4 提案手法の性能は、変動するデータサイズおよび不整合率の下で、既存のCQAシステムと比較してどうなるか？
• RQ5 本手法は、高い不整合率および大規模データに対して頑健であるか？特に、他のシステムが著しく性能を落とす状況でも同様に高い性能を維持できるか？

主な発見

• LinCQAは、ペア・プルーニング・ジョインツリー（PPJT）を備えたクエリに対して、実行時間の理論的保証を伴いながら線形時間で一貫性のあるクエリ回答を達成する。
• 合成ワークロードでは、ConQuerおよびFastFOと比較して、不整合率が高い状況でも最大2オーダーの性能向上を達成する。
• 関係のサイズが異なるクエリに対しては、LinCQAの性能はConQuerおよびFastFOほど敏感ではなく、優れたスケーラビリティを示す。
• LinCQAは、不整合率が増加しても安定した性能を維持するが、ConQuerおよびFastFOは実行時間が増加する傾向にあり、データの不整合に対して頑健であることが示された。
• StackOverflow由来のクエリを用いた実験では、大規模なデータベースに高い不整合率が存在する状況でも、LinCQAは1秒未満の応答時間を達成した。一方、他のシステムはタイムアウトまたは性能の著しい劣化を示した。
• Cforestなどの先行システムが失敗するような、部分的複合キーを含む複雑なジョインパターンや、混合キー／非キー結合を含むパターンに対しても、本システムは正常に処理できることを確認した。