[논문 리뷰] Consistent Query Answering for Primary Keys and Conjunctive Queries with Counting

Amezian El Khalfioui, Aziz, Jef Wijsen|arXiv (Cornell University)|2022. 08. 25.

Data Quality and Management인용 수 1

한 줄 요약

이 논문은 주 키를 갖는 비순환 SPJ 쿼리의 일정한 클래스에 대해 선형 시간 일致성 쿼리 응답(CQA)을 가능하게 하는 LinCQA 시스템을 소개한다. 이는 쌍-절단 조인 트리(PPJT)를 활용하여 구현되며, SQL 및 Datalog 재작성 방식을 통해 선형 시간 평가를 보장한다. 이는 합성 및 실제 워크로드에서 기존 CQA 시스템보다 수개의 주기수로 성능을 뛰어넘는다. 특히 높은 일관성 결여 또는 대규모 데이터 크기 조건에서 두각을 나타낸다.

ABSTRACT

Most data analytical pipelines often encounter the problem of querying inconsistent data that violate pre-determined integrity constraints. Data cleaning is an extensively studied paradigm that singles out a consistent repair of the inconsistent data. Consistent query answering (CQA) is an alternative approach to data cleaning that asks for all tuples guaranteed to be returned by a given query on all (in most cases, exponentially many) repairs of the inconsistent data. This paper identifies a class of acyclic select-project-join (SPJ) queries for which CQA can be solved via SQL rewriting with a linear time guarantee. Our rewriting method can be viewed as a generalization of Yannakakis's algorithm for acyclic joins to the inconsistent setting. We present LinCQA, a system that can output rewritings in both SQL and non-recursive Datalog rules for every query in this class. We show that LinCQA often outperforms the existing CQA systems on both synthetic and real-world workloads, and in some cases, by orders of magnitude.

연구 동기 및 목표

• 비일관 데이터베이스에 대한 기존 일치 쿼리 응답(CQA) 시스템의 비효율성과 이론적 보장의 부재를 해결하기 위해.
• 일치 쿼리 응답이 보장된 성능으로 선형 시간 내에 해결 가능한 비순환 SPJ 쿼리의 다루기 쉬운 클래스를 식별하기 위해.
• NP-난해한 솔버에 의존하지 않고도 효율적이고 정확한 SQL 및 Datalog 재작성문을 생성하는 시스템을 설계하고 구현하기 위해.
• 제안된 방법이 다양한 데이터 크기와 일관성 비율 조건에서도 안정적으로 확장 가능하며, 최신 기술의 CQA 시스템을 능가함을 입증하기 위해.

제안 방법

• 조인 쿼리에 대해 일관성 있는 일阶 표현 가능성을 보장하고 선형 시간 평가를 가능하게 하는, 조인 트리의 구조적 조건인 쌍-절단 조인 트리(PPJT)의 개념을 도입한다.
• PPJT를 갖는 쿼리를 선형 시간 평가가 가능한 등가의 SQL 또는 비재귀 Datalog 쿼리로 변환하는 재작성 알고리즘을 개발한다. 이는 비일관 데이터베이스에서 직접 일치 응답을 계산한다.
• Yannakakis의 비순환 조인 알고리즘을 비일관 환경으로 확장하여 주 키 제약 조건을 통합하고, 조인 트리의 구조를 활용해 비일관 튜플을 절단한다.
• 표준 DBMS 및 Datalog 엔진과의 통합을 가능하게 하기 위해 SQL 및 Datalog 출력을 모두 지원하는 LinCQA 시스템을 구현한다.
• 공격 그래프의 구조적 특성에 기반해 선형 시간 CQA를 허용하는 비순환 자기조인 없는 SPJ 쿼리의 새로운 특성화를 제안한다.
• 이론적 분석과 합성 및 실제 워크로드에 대한 광범위한 실험을 통해 재작성의 정확성과 효율성을 검증한다.

실험 결과

연구 질문

• RQ1 주 키 제약 조건이 있는 의미 있는 비순환 SPJ 쿼리에 대해 일치 쿼리 응답을 선형 시간 내에 수행할 수 있는가?
• RQ2 비일관 데이터 존재 조건 하에서 일阶 표현 가능성을 보장하고 선형 시간 평가를 가능하게 하는 SPJ 쿼리의 구조적 조건이 존재하는가?
• RQ3 이러한 조건을 활용하여 NP-난해한 솔버를 피하는 효율적이고 정확한 SQL 또는 Datalog 재작성문을 생성할 수 있는가?
• RQ4 제안된 시스템의 성능은 다양한 데이터 크기와 일관성 비율 조건에서 기존 CQA 시스템과 비교해 어떻게 되는가?
• RQ5 높은 일관성 결여 비율과 대규모 데이터에 대해 제안된 방법이 안정적인가? 특히 다른 시스템이 심각하게 성능 저하를 보일 때도 그렇다.

주요 결과

• LinCQA는 쌍-절단 조인 트리(PPJT)를 갖는 쿼리에 대해 이론적으로 런타임 보장을 받는 선형 시간 일치 쿼리 응답을 달성한다.
• 합성 워크로드에서 LinCQA는 ConQuer와 FastFO를 최대 두 개의 주기수로 뛰어넘으며, 특히 높은 일관성 결여 비율 조건에서 두각을 나타낸다.
• 관계 크기가 다양할 경우 LinCQA의 성능는 ConQuer와 FastFO보다 훨씬 덜 민감하여, 더 뛰어난 확장성을 보여준다.
• LinCQA는 일관성 결여 비율 증가에 따라 안정된 성능을 유지하는 반면, ConQuer와 FastFO는 런타임이 증가함을 보여, 데이터 일관성 결여에 대한 강건성을 입증한다.
• StackOverflow에서 유도된 쿼리 실험에서 LinCQA는 심지어 고도로 일관성 없는 대규모 데이터베이스에서도 1초 이내 응답 시간을 달성했고, 다른 시스템은 타임아웃이거나 성능이 급격히 떨어졌다.
• 이 시스템은 스노우플레이크 스키마와 엔티티 매칭에서 흔히 발생하는 부분 복합 키 및 혼합 키/비키 조인 패턴을 성공적으로 처리했으며, 이는 Cforest와 같은 이전 시스템이 실패한 영역이다.