[논문 리뷰] A Formal Framework For Probabilistic Unclean Databases

Christopher De, Ihab F. Ilyas외 3명|arXiv (Cornell University)|2018. 01. 21.

Data Quality and Management참고 문헌 39인용 수 12

한 줄 요약

이 논문은 오염된 데이터베이스(PUD)를 위한 형식적 확률적 프레임워크를 제안하며, 데이터 정제를 노이즈 있는 채널 과정으로 모델링한다. 이는 청소된 데이터에 대한 사전 믿음(의도)과 오류 메커니즘(실현)을 통합한다. 세 가지 핵심 계산 문제—정제, 확률적 쿼리 응답, 학습—을 수립하고, 특정 적용 사례에서의 처리 가능성(tractability)을 증명하며, 낮은 노이즈 조건 하에서 단일 오염된 데이터베이스로부터 파라미터를 학습할 수 있음을 보여준다.

ABSTRACT

Most theoretical frameworks that focus on data errors and inconsistencies follow logic-based reasoning. Yet, practical data cleaning tools need to incorporate statistical reasoning to be effective in real-world data cleaning tasks. Motivated by empirical successes, we propose a formal framework for unclean databases, where two types of statistical knowledge are incorporated: The first represents a belief of how intended (clean) data is generated, and the second represents a belief of how noise is introduced in the actual observed database. To capture this noisy channel model, we introduce the concept of a Probabilistic Unclean Database (PUD), a triple that consists of a probabilistic database that we call the intention, a probabilistic data transformator that we call the realization and captures how noise is introduced, and an observed unclean database that we call the observation. We define three computational problems in the PUD framework: cleaning (infer the most probable intended database, given a PUD), probabilistic query answering (compute the probability of an answer tuple over the unclean observed database), and learning (estimate the most likely intention and realization models of a PUD, given examples as training data). We illustrate the PUD framework on concrete representations of the intention and realization, show that they generalize traditional concepts of repairs such as cardinality and value repairs, draw connections to consistent query answering, and prove tractability results. We further show that parameters can be learned in some practical instantiations, and in fact, prove that under certain conditions we can learn a PUD directly from a single dirty database without any need for clean examples.

연구 동기 및 목표

• . 논문은 데이터 정제를 확률적 추론 문제로 공식화하여, 결정론적 복구 모델을 넘어서고자 한다.
• . 통계적 추론을 이론적 관계형 데이터베이스 프레임워크에 통합하여, 최소성 기반 접근 방식의 한계를 해결하고자 한다.
• . 세 가지 핵심 계산 문제인 정제, 확률적 쿼리 응답, PUD 파라미터 학습을 정의하는 것이 목적이다.
• . 최소한의 감독 하에서도 오염된 데이터베이스에서의 학습과 추론에 대한 이론적 보장을 수립하고자 한다.
• . 실용적 데이터 정제 시스템인 HoloClean과 이론적 관계형 데이터베이스 이론을 연결하는 데 설계된 프레임워크이다.

제안 방법

• . PUD는 세원조합 (I, R, J⋆)로 정의되며, I는 의도 모델(청소된 데이터베이스에 대한 사전 분포), R은 실현 모델(노이즈 과정), J⋆는 관측된 오염된 데이터베이스이다.
• . 정제는 최대 사후확률(MAP) 추론으로 공식화되며, Pr(I) × Pr(J⋆|I)를 최대화하는 I를 찾는다.
• . 확률적 쿼리 응답은 가능한 청소된 데이터베이스 전체 분포를 사용하여, 튜플이 결과에 포함될 확률을 계산한다.
• . 학습은 훈련 데이터로부터 I와 R의 파라미터를 최대우도법으로 추정하는 것으로, 감독 및 비감독 설정을 모두 고려한다.
• . 비감독 학습의 경우, 음의 로그우도 최소화를 사용하며, 목표 함수가 볼록이 되는 조건을 설정한다.
• . 이론적 분석은 단항 제약 조건이 있는 지브스 파프랙터/업데이트 모델에 집중하며, MLE의 점근 정규성과 수렴 보장을 활용한다.

실험 결과

연구 질문

• RQ1 . 노이즈 있는 채널 모델을 사용하여 데이터 정제를 확률적 추론 문제로 공식화할 수 있는 형식적 프레임워크를 개발할 수 있는가?
• RQ2 . PUD 파라미터 학습 목표 함수가 볼록이 되는 조건은 무엇인가? 이는 전역 최적화를 가능하게 한다.
• RQ3 . 청소된 훈련 예제 없이 단일 오염된 데이터베이스만을 사용하여 PUD 파라미터를 학습할 수 있는가?
• RQ4 . PUD 프레임워크는 서브셋 복구 및 업데이트 복구와 같은 기존의 결정론적 복구 모델을 어떻게 일반화하는가?
• RQ5 . PUD 프레임워크에서 정제 및 쿼리 응답의 수렴성 및 복잡도 성질은 어떠한가?

주요 결과

• . PUD 파라미터의 최대우도 추정치(MLE)는 훈련 예제 수가 증가함에 따라 확률적으로 진짜 값으로 수렴한다.
• . 단항 제약 조건이 있는 지브스 파프랙터/업데이트 PUD 모델에서 파라미터 c와 d의 MLE는 점근적으로 정규분포를 따르며, 수렴 속도는 O(1/√n)이며, 오차 ϵ을 달성하기 위해 O(ϵ−2)개의 예제가 필요하다.
• . 낮은 노이즈 조건(오류 확률 ≤ p) 하에서는 의도 파라미터 Ξ에 대해 음의 로그우도가 볼록이 되어 전역 최적화가 가능하다.
• . 실현 파라미터 d에 대해 격자 탐색을 수행하고, 각 고정된 d에 대해 의도 파라미터 c에 대해 볼록 최적화를 수행함으로써 PUD 파라미터의 전역 최적해를 찾을 수 있다.
• . 각 예제에 대한 음의 로그우도 손실의 기울기를 관계 크기의 다항식 시간 내에 계산할 수 있다.
• . 프레임워크는 결정론적 복구 모델을 일반화한다: 카디널리티 복구 및 값 복구는 특정 파라미터화 하에서 PUD 모델의 특수한 경우로 나타난다.