[논문 리뷰] HoloClean: Holistic Data Repairs with Probabilistic Inference

Theodoros Rekatsinas, Xu Chu외 2명|arXiv (Cornell University)|2017. 02. 02.

Data Quality and Management참고 문헌 31인용 수 57

한 줄 요약

HoloClean은 무결성 제약, 외부 데이터, 통계 정보를 확률 모델로 통합하여 대규모 데이터 수리를 수행하고, 다양한 데이터 세트에서 약 90%의 정밀도와 >76%의 재현율을 달성하며, 이전 방법에 비해 F1이 2배 이상 향상됩니다.

ABSTRACT

We introduce HoloClean, a framework for holistic data repairing driven by probabilistic inference. HoloClean unifies existing qualitative data repairing approaches, which rely on integrity constraints or external data sources, with quantitative data repairing methods, which leverage statistical properties of the input data. Given an inconsistent dataset as input, HoloClean automatically generates a probabilistic program that performs data repairing. Inspired by recent theoretical advances in probabilistic inference, we introduce a series of optimizations which ensure that inference over HoloClean's probabilistic model scales to instances with millions of tuples. We show that HoloClean scales to instances with millions of tuples and find data repairs with an average precision of ~90% and an average recall of above ~76% across a diverse array of datasets exhibiting different types of errors. This yields an average F1 improvement of more than 2x against state-of-the-art methods.

연구 동기 및 목표

• 다양한 신호를 결합한 holistic 데이터 정리의 필요성을 제시한다.
• 데이터 수리를 자동으로 생성하는 컴파일러 기반 프레임워크를 제안한다.
• 수백만 개의 튜플로 구성된 대규모 데이터 세트를 수리하기 위한 확장 가능한 확률 추론을 가능하게 한다.
• 다양한 데이터 세트에서 최첨단 방법 대비 정밀도, 재현율 및 F1의 실증적 향상을 보여준다.

제안 방법

• dirty dataset와 수리 제약 집합에서 확률 모델을 자동으로 생성한다.
• 그래픽 모델의 특징으로 신호를 나타내고 셀 수정을 위해 확률 추론을 수행한다.
• 신호를 DeepDive 기반 요소 그래프로 변환하는 컴파일 단계를 사용하여 각 셀에 대한 무작위 변수로 표현한다.
• 도메인 가지치기, 그룹별 가능화, 그리고 hard 제약을 priors로 완화하는 근사를 통해 grounding과 추론을 최적화한다.
• 경험적 위험 최소화를 통해 모델 매개변수를 학습하고 MAP 수리를 위해 Gibbs 샘플링을 수행한다.
• 유저 피드백과 점진적 학습을 가능하게 하는 수리의 주변 확률(marginal probabilities)을 제공한다.

실험 결과

연구 질문

• RQ1 단일 확률 프레임워크가 무결성 제약, 외부 데이터, 통계 신호를 효과적으로 결합하여 데이터 수리를 수행할 수 있는가?
• RQ2 대규모 데이터 세트(수백만 개의 튜플)에서도 grounding과 추론을 확장하면서 수리 품질을 유지할 수 있는가?
• RQ3 확장성을 위해 hard 제약을 priors로 완화할 때 수리 정확도에 어떤 영향이 있는가?
• RQ4 Holistic 수리가 단일 신호(제약, 외부 데이터 또는 통계)에 의존하는 방법보다 다양한 데이터 세트에서 더 나은 성능을 보이는가?

주요 결과

• HoloClean은 평균 약 90%의 정밀도를 달성한다.
• HoloClean은 평균 재현율이 약 76%를 초과한다.
• 데이터 세트 전반에 걸쳐 HoloClean은 state-of-the-art 방법 대비 평균 F1 점수에서 2배 이상 개선을 보인다.
• 모든 신호를 결합하면 임의의 단일 신호를 사용하는 경우보다 더 큰 F1 증가를 얻는다(예: 제약만, 외부 데이터만, 통계만 기준에서 각각 2배 이상 개선).
• grounding/pruning 및 근사 기술 덕분에 수백만 개의 튜플 데이터 세트에도 확장 가능하다.