[논문 리뷰] Query Answering under Matching Dependencies for Data Cleaning: Complexity and Algorithms

Jaffer Gardezi, Leopoldo Bertossi|arXiv (Cornell University)|2011. 12. 27.

Data Quality and Management참고 문헌 30인용 수 3

한 줄 요약

이 논문은 데이터 정제를 위한 매칭 의존성(MDs) 하에서 질의 응답을 조사하며, 해결된 응답(모든 최소로 해결된 인스턴스(MRIs)에서 일관되게 유지되는 응답)를 효율적으로 계산하기 위해 체계적인 복잡도 분석과 새로운 질의 재작성 방법론을 제안한다. 주요 기여는 MD 집합에 대한 이분법 결과와, 재귀 및 집합 연산을 포함하는 양의 Datalog를 사용한 다항시간 평가가 가능한 트랙태블한 재작성 프레임워크이다. 이는 특정 유형의 조건부 질의와 MD에 대해 다항시간 평가를 가능하게 한다.

ABSTRACT

Matching dependencies (MDs) have been recently introduced as declarative rules for entity resolution (ER), i.e. for identifying and resolving duplicates in relational instance $D$. A set of MDs can be used as the basis for a possibly non-deterministic mechanism that computes a duplicate-free instance from $D$. The possible results of this process are the clean, "minimally resolved instances" (MRIs). There might be several MRIs for $D$, and the "resolved answers" to a query are those that are shared by all the MRIs. We investigate the problem of computing resolved answers. We look at various sets of MDs, developing syntactic criteria for determining (in)tractability of the resolved answer problem, including a dichotomy result. For some tractable classes of MDs and conjunctive queries, we present a query rewriting methodology that can be used to retrieve the resolved answers. We also investigate connections with "consistent query answering", deriving further tractability results for MD-based ER.

연구 동기 및 목표

• 매칭 의존성(MDs) 하에서 조건부 질의에 대한 해결된 응답을 계산하는 데 있어 계산 복잡도를 체계적으로 분석하는 것.
• MDs 하에서 해결된 질의 응답의 트랙태블한 경우와 비트랙태블한 경우를 구분하는 문법적 기준을 규명하는 것.
• 모든 MRIs를 계산하지 않고도 원래의 더러운 데이터베이스 인스턴스로부터 직접 해결된 응답을 추출할 수 있는 질의 재작성 방법론을 개발하는 것.
• 키 제약 조건(KCs) 하에서 일관된 질의 응답(CQA)과 MD 기반 엔터티 해석 간의 관계를 설정하고, 기존의 CQA 결과를 활용하는 것.
• CQA로의 감소와 집합 기반 질의 재작성 기법을 통해 조건부 질의를 초월한 트랙태블한 질의 유형을 확장하는 것.

제안 방법

• 더러운 데이터베이스에서 MDs를 사용해 최소로 해결된 인스턴스(MRIs)를 계산하기 위한 채이스 유사 절차를 제안하며, 반복 적용을 통해 최소한의 변경을 보장한다.
• 모든 MRIs에서 공통된 응답으로서 해결된 응답의 개념을 도입하여, 모든 MRIs를 명시적으로 생성할 필요 없이 해결하는 데 기여한다.
• 조건부 질의를 재작성하는 알고리즘을 개발하여, 재귀와 집합 연산을 포함하는 양의 Datalog로 표현 가능한 새로운 질의로 변환하며, 이는 원래의 더러운 인스턴스에서 다항시간으로 평가될 수 있다.
• MD 집합에 대한 이분법 결과를 적용하여, 두 개의 MD 집합이 문법적 특성에 따라 다항시간(P) 또는 NP-난이도(NP-hard)로 분류됨을 밝혀낸다.
• MD 기반 해결된 질의 응답을 일관된 질의 응답(CQA)으로 감소시키며, 키 제약 조건(KCs)을 기초로 삼는다.
• 일련의 동일한 키를 가진 튜플 그룹에서 빈도가 높은 값을 캡처하기 위해, 일阶논리 확장에서 집합 연산(COUNT)을 사용하여 비-UJCQ 질의에 대한 효율적인 재작성 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 MDs 하에서 해결된 응답을 계산하는 것이 트랙태블하거나 비트랙태블한지에 영향을 주는 문법적 조건은 무엇인가?
• RQ2 조건부 질의를 원래의 더러운 데이터베이스 인스턴스로부터 직접 해결된 응답을 계산할 수 있도록 새로운 질의로 재작성할 수 있는가?
• RQ3 MDs 하에서 해결된 질의 응답의 복잡도 클래스는 키 제약 조건 하에서 일관된 질의 응답(CQA)의 복잡도 클래스와 어떻게 관련이 있는가?
• RQ4 이 질의 재작성 방법론은 UJCQ 클래스 외부의 질의로도 확장될 수 있으며, 만약 가능하면 어떤 조건에서 가능할까?
• RQ5 재귀와 집합 연산이 다항시간 평가를 가능하게 하여 해결된 응답을 효율적으로 계산하는 데 어떤 역할을 하는가?

주요 결과

• 두 개의 MD 집합에 대해 이분법 결과를 확립: 해결된 응답 계산은 문법적 기준에 따라 다항시간(P) 또는 데이터에 대해 NP-난이도(NP-hard)로 분류된다.
• 일부 트랙태블한 MD 및 조건부 질의 유형에 대해서는, 재귀와 집합 연산을 포함하는 양의 Datalog를 사용한 다항시간 계산이 가능한 질의 재작성 기법이 가능하다.
• 다시 작성된 질의는 항상 일阶논리가 아니지만, 다항시간으로 평가 가능하며, 원래의 더러운 인스턴스에 대해 제출되었을 때 정확히 해결된 응답을 반환한다.
• MD 기반 엔터티 해석과 일관된 질의 응답(CQA) 간의 공식적인 연결 고리를 설정하여, CQA의 트랙태블성 결과를 MD로 이전할 수 있다.
• 이 방법론은 UJCQ 클래스를 초월한다: 예를 들어, UJCQ에 속하지 않는 질의도 집합 연산과 CQA 기반 재작성 기법을 통해 재작성 가능하며, 이는 예제 22에서 확인된다.
• 다시 작성된 질의에서 집합 연산(COUNT)의 사용은 동일한 키를 가진 튜플 그룹 내에서 가장 빈도가 높은 값을 캡처하여, 명시적인 MRI 계산 없이도 효율적인 해결을 가능하게 한다.