[논문 리뷰] PClean: Bayesian Data Cleaning at Scale with Domain-Specific Probabilistic Programming

Alexander K. Lew, Monica Agrawal외 2명|arXiv (Cornell University)|2020. 07. 23.

Data Quality and Management인용 수 4

한 줄 요약

PClean은 관계형 데이터베이스의 비모수적 생성 모델과 새로운 순차적 몬테카를로 추론 알고리즘, 최적화된 제안을 위한 스마트 컴파일러를 결합함으로써 확장성 있고 정확한 베이지안 데이터 정제를 가능하게 하는 도메인 특화 확률 프로그래밍 언어이다. 짧은 사용자 프로그램(50줄 이내)을 사용하여 수백만 건의 기록을 포함한 실제 데이터셋에서 최신 기술 수준의 정확도와 속도를 달성한다.

ABSTRACT

Data cleaning is naturally framed as probabilistic inference in a generative model of ground-truth data and likely errors, but the diversity of real-world error patterns and the hardness of inference make Bayesian approaches difficult to automate. We present PClean, a probabilistic programming language (PPL) for leveraging dataset-specific knowledge to automate Bayesian cleaning. Compared to general-purpose PPLs, PClean tackles a restricted problem domain, enabling three modeling and inference innovations: (1) a non-parametric model of relational database instances, which users' programs customize; (2) a novel sequential Monte Carlo inference algorithm that exploits the structure of PClean's model class; and (3) a compiler that generates near-optimal SMC proposals and blocked-Gibbs rejuvenation kernels based on the user's model and data. We show empirically that short (< 50-line) PClean programs can: be faster and more accurate than generic PPL inference on data-cleaning benchmarks; match state-of-the-art data-cleaning systems in terms of accuracy and runtime (unlike generic PPL inference in the same runtime); and scale to real-world datasets with millions of records.

연구 동기 및 목표

• 다양하고 복잡한 오류 패tern을 가진 실제 데이터셋에서 데이터 정제 자동화의 과제를 해결한다.
• 일반 목적의 확률 프로그래밍 언어(PPL)가 데이터 정제 작업에서 확장성과 추론 효율성 측면에서 가지는 한계를 극복한다.
• 고수준 언어를 통해 사용자가 데이터와 잠재적 오류에 대한 간결하고 도메인 특화된 모델을 정의할 수 있도록 한다.
• 사용자 모델과 데이터에 맞게 최적화된 추론 제안과 재생 기반 커널을 생성하는 컴파일레이션 파이프라인을 개발한다.
• 대규모 데이터셋에서 높은 정확도와 빠른 런타임을 동시에 달성하여 최신 기술 수준의 시스템을 뛰어넘거나 견줄 수 있도록 한다.

제안 방법

• 알려지지 않은 수의 개체와 그들의 관계를 자유롭게 모델링할 수 있도록 잠재적 관계형 데이터베이스 인스턴스에 대한 비모수적 사전 확률를 정의한다.
• 유의미한 잠재적 데이터베이스를 초기화하고 데이터 기반 제안을 사용해 샘플링을 이끄는 순차적 몬테카를로(SMC) 추론 알고리즘을 설계한다.
• 블록화된 지브스 샘플링과 입자 지브스를 사용한 새로운 재생 메커니즘을 구현하여 개체 수준 상태의 오류를 수정한다.
• 조건부 독립성과 충분통계량을 활용해 사용자 정의 모델을 최적화된 제안 분포로 컴파일한다.
• 관측된 속성 값에 인덱스를 붙이고 후보 대상을 제한함으로써 참조 슬롯 해석을 가속화하기 위해 관측 해싱을 도입한다.
• 이산 및 연속 변수의 제안을 분리하고 선호값을 사용해 검색 공간을 제약함으로써 이원적 이산-연속 모델링을 지원한다.

실험 결과

연구 질문

• RQ1 도메인 특화 PPL이 수백만 건의 기록을 포함한 실제 데이터셋에서 베이지안 데이터 정제 작업에서 높은 정확도와 확장성을 동시에 달성할 수 있는가?
• RQ2 모델 인식 제안 생성을 통해 비모수적 관계형 모델의 추론 효율성을 어떻게 향상시킬 수 있는가?
• RQ3 컴파일러가 생성한 데이터 기반 제안 전략이 일반적인 PPL 추론에 비해 속도와 정확도 측면에서 얼마나 뛰어나게 성능을 냈는가?
• RQ4 관측 해싱과 선호값 같은 기법이 대규모 데이터 정제에서 계산 비용을 얼마나 줄이는가?
• RQ5 원칙적인 베이지안 프레임워크가 분류 기반 최신 기술 수준의 데이터 정제 시스템과 런타임과 F1 스코어 측면에서 견줄 수 있거나 이를 뛰어넘을 수 있는가?

주요 결과

• 50줄 이내의 PClean 프로그램이 표준 데이터 정제 벤치마크에서 일반적인 PPL 추론보다 더 높은 정확도와 더 빠른 런타임을 달성한다.
• 실제 데이터셋(최대 220만 행)에서 PClean은 HoloClean, Dallachiesat 등 최신 기술 수준의 데이터 정제 시스템과 동등하거나 이를 뛰어넘는 정확도와 런타임 성능을 보인다.
• 이산 변수가 완전히 제약된 경우 컴파일러는 국소적으로 최적의 SMC 제안을 생성하며, 연속 변수 또는 선호값이 포함된 경우 비최적이지만 효율적인 제안을 생성한다.
• 관측 해싱은 개체당 O(|W|) 시간 내에 참조 슬롯 해석 비용을 줄여 많은 수의 잠재적 개체를 포함한 대규모 데이터셋에서도 효율적인 확장성을 가능하게 한다.
• 입자 지브스 재생은 제안이 열악할 경우 연속 변수에 대한 수용률을 크게 향상시켜 수렴성과 정확도를 개선한다.
• 시스템은 수백만 건의 기록을 포함한 실제 데이터셋까지 확장 가능하며, 합성 또는 소규모 벤치마크를 뛰어넘는 실용적 타당성을 입증한다.