[논문 리뷰] A hierarchical Bayesian approach to record linkage and size population problems

Andrea Tancredi, Brunero Liseo|arXiv (Cornell University)|2010. 11. 11.

Census and Population Estimation인용 수 5

한 줄 요약

이 논문은 전체 범주형 데이터를 유지하고 매칭과 매개변수 추정 간 이중 방향 불확실성 전파를 가능하게 하는 계층적 베이지안 모델을 제안한다. 0-1 감소를 피하고 플러그인 추정치를 제거함으로써 정확도가 향상되며, 실제 데이터와 시뮬레이션을 통해 이를 입증한다.

ABSTRACT

We propose and illustrate a hierarchical Bayesian approach for matching statistical records observed on different occasions. We show how this model can be profitably adopted both in record linkage problems and in capture--recapture setups, where the size of a finite population is the real object of interest. There are at least two important differences between the proposed model-based approach and the current practice in record linkage. First, the statistical model is built up on the actually observed categorical variables and no reduction (to 0--1 comparisons) of the available information takes place. Second, the hierarchical structure of the model allows a two-way propagation of the uncertainty between the parameter estimation step and the matching procedure so that no plug-in estimates are used and the correct uncertainty is accounted for both in estimating the population size and in performing the record linkage. We illustrate and motivate our proposal through a real data example and simulations.

연구 동기 및 목표

• 범주형 데이터를 0-1 비교로 줄이는 전통적 기록 연동 방법의 한계를 해결하기 위해.
• 기록 연동과 캡처-재포획 모집단 크기 추정을 모두 통합하는 프레임워크를 개발하기 위해.
• 플러그인 추정치를 피하고 매칭과 매개변수 추정 간 이중 방향 불확실성 전파를 가능하게 하기 위해.
• 전체 데이터 정보를 활용하여 유한 모집단 크기 추정과 기록 연동의 정확도와 신뢰성을 향상시키기 위해.

제안 방법

• 관측된 범주형 변수에 직접 기반한 계층적 베이지안 모델을 사용하여 모든 데이터 정보를 유지한다.
• 매개변수 추정과 매칭 결정 간 이중 방향 불확실성 전파 메커니즘을 도입한다.
• 기타 매칭과 모집단 크기의 사후 추론을 위해 마르코프 체인 몬테카를로(MCMC) 방법을 사용한다.
• 관측된 범주형 공변량에 기반한 매칭 확률을 모델링하여 임의의 0-1 임계값을 피한다.
• 기록 간 정보 공유를 통해 추정 안정성을 향상시키기 위해 계층적으로 모델을 구성한다.
• 동일한 통계적 프레임워크 내에서 기록 연동과 캡처-재포획 문제에 모두 적용한다.

실험 결과

연구 질문

• RQ1 기존의 0-1 비교로 줄이는 것 대신 전체 범주형 데이터를 유지함으로써 기록 연동은 어떻게 향상될 수 있는가?
• RQ2 이중 방향 불확실성 전파가 모집단 크기 추정의 정확도에 어느 정도 기여하는가?
• RQ3 단일 계층적 베이지안 모델이 기록 연동과 모집단 크기 추정을 효과적으로 동시에 처리할 수 있는가?
• RQ4 불확실성 정량화와 추정 정확도 측면에서 기존 방법과 비교해 본다면, 제안된 방법은 어떠한가?

주요 결과

• 제안된 모델은 모든 범주형 정보를 유지하여 0-1 비교로 인한 정보 손실을 방지한다.
• 이중 방향 불확실성 전파로 플러그인 추정치를 피함으로써 더 정확하고 신뢰할 수 있는 추정치를 도출한다.
• 매칭 결정과 모집단 크기 추정에 대해 일관된 불확실성 정량화를 제공한다.
• 시뮬레이션과 실제 데이터 사례를 통해 기존 방법에 비해 향상된 성능을 입증한다.
• 계층적 구조로 인해 기록 간 강도를 빌려오며 추정 안정성을 향상시킨다.
• 단일 통합 프레임워크 내에서 기록 연동과 캡처-재포획을 효과적으로 통합하는 데 성공했다.