[논문 리뷰] The Shapley Value of Inconsistency Measures for Functional Dependencies

Ester Livshits, Benny Kimelfeld|arXiv (Cornell University)|2020. 09. 29.

Logic, Reasoning, and Knowledge인용 수 4

한 줄 요약

이 논문은 불일관 데이터베이스에서 기능적 의존성(FD) 위반에 대한 셰플리 값 계산의 계산 복잡도를 조사하며, 불일관 측정법을 다루기 쉬운 경우와 다루기 어려운 경우로 체계적으로 분류한다. 이는 위반 수와 문제 있는 사실의 수가 다항 시간 내로 계산 가능하다는 것을 입증하며, 극단적이고 최소 카디널리티 복구 측정법은 FD에 왼쪽 손대기 체인(LHS 체인)이 존재하는지 여부에 따라 이분법적 성격을 보이며, 다루기 어려운 경우에 대해서는 근사 결과를 제공한다.

ABSTRACT

Quantifying the inconsistency of a database is motivated by various goals including reliability estimation for new datasets and progress indication in data cleaning. Another goal is to attribute to individual tuples a level of responsibility to the overall inconsistency, and thereby prioritize tuples in the explanation or inspection of dirt. Therefore, inconsistency quantification and attribution have been a subject of much research in Knowledge Representation and, more recently, in Databases. As in many other fields, a conventional responsibility sharing mechanism is the Shapley value from cooperative game theory. In this paper, we carry out a systematic investigation of the complexity of the Shapley value in common inconsistency measures for functional-dependency (FD) violations. For several measures we establish a full classification of the FD sets into tractable and intractable classes with respect to Shapley-value computation. We also study the complexity of approximation in intractable cases.

연구 동기 및 목표

• 기능적 의존성이 있는 데이터베이스에서 불일관 측정법에 대한 셰플리 값 계산의 계산 복잡도를 체계적으로 분석하는 것.
• 왼쪽 손대기 체인 등의 구조적 특성에 기반하여 FD 집합의 다루기 쉬운 경우와 다루기 어려운 경우를 식별하는 것.
• 다루기 어려운 불일관 측정법에 대한 셰플리 값의 근사 가능성 연구, 예를 들어 FPRAS와 일정 비율 근사치를 포함한다.
• 협력 게임 이론을 활용하여 불일관 데이터베이스에서 책임 할당의 이해를 확장하는 것.

제안 방법

• 튜플을 플레이어로 간주하고 불일관 측정법이 협력 단체의 가치를 정의하는 협력 게임으로 데이터베이스의 불일관을 모델링한다.
• 각 튜플의 전반적 불일관에 대한 마진 기여도를 셰플리 값 공식을 적용하여 모든 가능한 단체에서 측정한다.
• 균등한 랜덤 부분집합에 대한 조합 분석과 기대값 계산을 통해 셰플리 값에 대한 닫힌 형태의 표현식을 유도한다.
• 특히 위반 수와 문제 있는 사실에 대해 다루기 쉬운 경우에 효율적인 계산을 위해 동적 프로그래밍과 재귀적 분해를 활용한다.
• 극단적 및 최소 카디널리티 복구 측정법과 같은 다루기 어려운 측정법에 대해 범위를 유도하고 근사 계획(예: FPRAS)을 제공한다.
• 특히 등가성까지 고려한 왼쪽 손대기 체인의 존재 여부를 포함한 FD 집합의 구조적 특성을 활용하여 복잡도를 분류한다.

Figure 2 . The databases constructed in the reduction of the proof of Lemma 5 .

실험 결과

연구 질문

• RQ1 기능적 의존성에 대한 어떤 불일관 측정법이 셰플리 값의 다항 시간 계산을 허용하는가?
• RQ2 FD 집합의 어떤 구조적 특성(예: 왼쪽 손대기 체인)이 셰플리 값 계산의 다루기 쉬움을 결정하는가?
• RQ3 다루기 어려운 불일관 측정법에 대해 완전 다항 랜덤화 근사 계획(FPRAS)이 존재하는가?
• RQ4 모든 FD 집합에서 카디널리티 복구 비용의 셰플리 값에 대해 일정 비율 근사치를 달성할 수 있는가?
• RQ5 다른 책임 측정법(예: 반잔프 파워 지수 또는 다른 제약 유형)으로 결과를 일반화할 수 있는가?

주요 결과

• 위반 수($\mathcal{I}_{\mathsf{MI}}$)와 문제 있는 사실 수($\mathcal{I}_{\mathsf{P}}$)에 대한 셰플리 값은 다항 시간 내로 계산 가능하다.
• 극단적 측정법($\mathcal{I}_{\mathsf{d}}$)에 대해 셰플리 값은 FD 집합에 왼쪽 손대기 체인이 존재할 때에만(등가성까지 고려) 다루기 쉬운데, 그렇지 않으면 #P-어려움이다.
• 최소 카디널리티 복구 측정법($\mathcal{I}_{\mathsf{MC}}$)에 대해 셰플리 값은 FD 집합에 왼쪽 손대기 체인이 존재할 때에만 다루기 쉬운데, 그렇지 않으면 #P-어려움이다.
• 극단적 측정법($\mathcal{I}_{\mathsf{d}}$)의 셰플리 값에 대해 FPRAS가 존재하지만, 카디널리티 복구 비용($\mathcal{I}_{\mathsf{R}}$)의 셰플리 값에 대한 일정 비율 근사치의 존재 여부는 특정 FD 집합에서는 아직 미해결이다.
• $\mathcal{I}_{\mathsf{R}}$의 다루기 쉬운 경우는 완전히 특성화되어 있지 않으며, 특히 왼쪽 손대기 체인이 없지만 여전히 다항 시간 내에 복구 계산이 가능한 FD 집합에 대해 그렇다.
• 논문은 $\mathcal{I}_{\mathsf{R}}$의 복잡도 분류에 격차를 밝혀내었으며, 특히 이중 매칭 제약 $\{A\rightarrow B, B\rightarrow A\}$에 대해 FPRAS가 존재하지만 아직 완전히 분류되지 않은 경우가 있다.

Figure 4 . The data structure $T$ of our running example.