[논문 리뷰] Scaling Bayesian Probabilistic Record Linkage with Post-Hoc Blocking: An Application to the California Great Registers

Brendan S. McVeigh, Bradley T. Spahn외 1명|arXiv (Cornell University)|2019. 05. 14.

Data Quality and Management참고 문헌 34인용 수 12

한 줄 요약

이 논문은 청구된 차단을 통해 확장 가능한 베이지안 확률 기반 레코드 연동 방법을 제안하여 대규모 역사적 데이터셋—특히 캘리포니아 대등록부—에서 효율적인 사후 추론을 가능하게 한다. 이는 수십만 건의 레코드에 대한 완전한 사후 분포를 단일 머신에서 몇 시간 내에 추정할 수 있음을 입증하며, 뉴딜 시대 동안 개인 수준의 정당 소속 변화에 대한 새로운 통찰을 가능하게 한다.

ABSTRACT

Probabilistic record linkage (PRL) is the process of determining which records in two databases correspond to the same underlying entity in the absence of a unique identifier. Bayesian solutions to this problem provide a powerful mechanism for propagating uncertainty due to uncertain links between records (via the posterior distribution). However, computational considerations severely limit the practical applicability of existing Bayesian approaches. We propose a new computational approach, providing both a fast algorithm for deriving point estimates of the linkage structure that properly account for one-to-one matching and a restricted MCMC algorithm that samples from an approximate posterior distribution. Our advances make it possible to perform Bayesian PRL for larger problems, and to assess the sensitivity of results to varying prior specifications. We demonstrate the methods on a subset of an OCR'd dataset, the California Great Registers, a collection of 57 million voter registrations from 1900 to 1968 that comprise the only panel data set of party registration collected before the advent of scientific surveys.

연구 동기 및 목표

• 청결한 준식별자( quasi-identifiers )가 없는 대규모 데이터셋에서 베이지안 확률 기반 레코드 연동의 계산 불가능성을 해결한다.
• 오류가 많은 식별자로 인해 잘못된 비일치율을 증가시키는 전통적 차단 방법의 한계를 극복한다.
• 수십만 건의 레코드를 포함한 데이터셋에 대해 표준 데스크톱 하드웨어만으로도 완전한 사후 추론을 가능하게 한다.
• 모델에 종속되지 않는 데이터 기반 접근법을 통해 베이지안 추론을 근사화함으로써 확장성을 향상시키면서도 불확실성 측정을 유지한다.
• 역사적 유권자 등록 데이터에 이 방법을 적용하여 뉴딜 정당 재편 시기 동안 개인 수준의 정당 소속 변화를 연구한다.

제안 방법

• 후행 차단(post-hoc blocking)을 도입하여 일치 상태에서 높은 모호성(ambiguity)을 보이는 레코드 쌍을 식별하고, 이에 집중하여 추론을 수행함으로써 계산 부담을 감소시킨다.
• 모델 피팅 이후에 이 차단 전략을 적용함으로써 사전 정의된 또는 레이블이 부여된 차단 키에 의존하지 않으며, 노이즈가 많은 역사적 데이터에 적합하다.
• 이름, 주소, 직업 등 다른 속성에 대한 비교 함수를 포함한 베이지안 계층 모델을 사용하여 일치 확률을 추정하며, m- 및 u-매개변수를 적용한다.
• 후행 차단에 의해 식별된 모호한 레코드 쌍의 축소된 집합에서 마르코프 체인 몬테 카를로(Markov Chain Monte Carlo, MCMC)를 통해 사후 표본 추출을 구현한다.
• 재현성과 성능을 확보하기 위해 줄리아 프로그래밍 언어와 공개 패키지(BayesianRecordLinkage.jl)를 활용한다.
• 특히 부분 일치가 존재할 경우에 모델 캘리브레이션을 향상시키고 매개변수 추정을 안정화시키기 위해 U-보정(U-correction)을 활용한다.

실험 결과

연구 질문

• RQ1 청결한 차단 키에 의존하지 않고도 수십만 건의 레코드를 포함한 데이터셋에 대해 베이지안 확률 기반 레코드 연동을 확장할 수 있는가?
• RQ2 후행 차단은 계산 효율성을 어떻게 향상시키며, 동시에 베이지안 추론의 불확실성 측정 이점을 유지하는가?
• RQ3 연결된 역사적 유권자 등록 데이터에 대한 베이지안 추론은 뉴딜 시대 동안 개인 수준의 정당 소속 변화 패턴을 어느 정도 드러낼 수 있는가?
• RQ4 데이터 오류에 대한 민감도와 일치 확률 추정 정확도 측면에서 기존 방법인 fastLink와 비교해 볼 때, 제안된 방법은 어떠한가?
• RQ5 모델 잘못 설정 또는 제약 위반(예: 일대일 매칭)이 대규모 역사적 데이터에서 연동 품질에 미치는 영향은 무엇인가?

주요 결과

• 제안된 방법은 단일 머신에서 캘리포니아 대등록부의 26만 건 이상의 유권자 레코드 데이터셋에 대해 몇 시간 내에 완전한 사후 추론을 수행할 수 있다.
• 후행 차단은 전체 베이지안 추론이 필요한 레코드 쌍의 수를 다룰 수 있는 소규모 집합으로 줄이며, 가장 모호한 일치에 집중하여 계산을 최적화한다.
• 베이지안 모델은 정확한 일치(예: 동일한 이름, 직업, 주소를 가진 윌리엄 브라운)를 고려하여 높은 사후 확률로 정확히 식별하지만, fastLink는 일치하지 않는 쌍에게도 잘못된 높은 확률을 부여한다.
• 베이지안 모델의 추정 일치 확률은 누락되거나 일관되지 않은 데이터(예: 주소 및 직업의 OCR 오류)에 대해 강건하며, 비교 유형 간에 일관된 일치 확률 순서를 유지한다.
• 이 방법은 정당 전환이 모든 개인에게 균일하지 않음을 드러낸다: 1932년 공화당으로 등록한 많은 유권자들이 1936년에 민주당으로 전환했으며, 특히 노동계급 및 도시 거주자들 사이에서 두드러졌다.
• 모델의 사후 추정치는 fastLink보다 더 신뢰할 수 있다. 진짜 일치가 존재할 경우에도 잘못된 일치에 대해 확률을 0으로 할당하기 때문이다. 반면 fastLink는 유사한 후보자가 여러 명일 경우 잘못된 일치에 대해 잘못된 확률 추정을 내놓는다.