[논문 리뷰] An Experiment with Hierarchical Bayesian Record Linkage

Michael Larsen|arXiv (Cornell University)|2012. 12. 20.

Data Quality and Management참고 문헌 21인용 수 4

한 줄 요약

이 논문은 블록별 이질성과 정보가 많은 사전 분포를 통합함으로써 일치 정확도를 향상시키는 계층적 베이지안 잠재클래스 모델을 제안한다. 게비스 및 메트로폴리스-해스팅스 샘플링을 사용하여, 데이터 분포가 블록 간으로 변할 경우 기존의 잠재클래스 모델에 비해 연결 오류율을 감소시킨다.

ABSTRACT

In record linkage (RL), or exact file matching, the goal is to identify the links between entities with information on two or more files. RL is an important activity in areas including counting the population, enhancing survey frames and data, and conducting epidemiological and follow-up studies. RL is challenging when files are very large, no accurate personal identification (ID) number is present on all files for all units, and some information is recorded with error. Without an unique ID number one must rely on comparisons of names, addresses, dates, and other information to find the links. Latent class models can be used to automatically score the value of information for determining match status. Data for fitting models come from comparisons made within groups of units that pass initial file blocking requirements. Data distributions can vary across blocks. This article examines the use of prior information and hierarchical latent class models in the context of RL.

연구 동기 및 목표

• 고유 ID가 없고 오류를 포함한 데이터에서 기록 연결의 과제를 해결하기 위해.
• 지리적 또는 범주적 블록 간 비교 분포의 블록 간 변동성을 모델링하기 위해.
• 추정을 향상시키기 위해 유사한 과거 연결 작업으로부터 정보가 많은 사전 분포를 통합하기 위해.
• 계층적 잠재클래스 모델이 기존의 LCA에 비해 연결 오류율을 줄이는 데 얼마나 효과적인지 평가하기 위해.
• 대규모 기록 연결을 위한 확장 가능하고 계산적으로 효율적인 베이지안 프레임워크 개발하기 위해.

제안 방법

• 일치 확률과 일치율이 블록별로 다를 수 있도록 허용하는 계층적 잠재클래스 모델을 사용하여 국소 데이터 이질성을 반영한다.
• 일치 및 일치율 파라미터에 비정보적 및 약한 정보적 사전 분포를 적용하고, 분산 및 공분산에 대한 초모수를 설정한다.
• 일치 지표 및 모델 파라미터의 후행 분포를 추정하기 위해 게비스 샘플링과 메트로폴리스-해스팅스 알고리즘을 사용한다.
• 이전 연결 작업에서 유도된 정보가 많은 사전 분포를 통합하며, 수렴률에 기반해 조정 파라미터를 조정한다.
• 비교 벡터를 K개 필드(예: 이름, 생년월일, 성별) 간 일치 여부를 나타내는 이진 지표로 모델링하고, 잠재 일치 상태를 숨겨진 변수로 간주한다.
• 지시자 행렬 I에 대한 제약 조건을 통해 일对일 매칭 제약 조건을 구현하여 각 블록에서 한 명의 개인이 한 번 이상 링크되지 않도록 보장한다.

실험 결과

연구 질문

• RQ1 일치 및 일치율의 블록별 이질성을 통합할 경우 기록 연결 정확도에 어떤 영향을 미치는가?
• RQ2 이전 연결 작업에서 유도된 정보가 많은 사전 분포가 새로운 연결 작업에서 모델 성능을 얼마나 향상시키는가?
• RQ3 오차율과 수렴성 측면에서 계층적 베이지안 모델과 기존 잠재클래스 모델 간의 비교는 어떠한가?
• RQ4 사전 분산 사양의 다양함이 모델 안정성과 추정 정확도에 어떤 영향을 미치는가?
• RQ5 게비스 및 메트로폴리스-해스팅스 샘플링 전략을 효과적으로 조정하여 대규모 연결에서 계산 효율성을 향상시킬 수 있는가?

주요 결과

• 계층적 베이지안 모델은 데이터 분포가 블록 간으로 변할 경우 기존의 잠재클래스 모델에 비해 연결 오류율을 상당히 감소시킨다.
• 유사한 과거 연결 작업에서 유도된 정보가 많은 사전 분포를 통합함으로써 추정 정확도가 향상되고 파라미터 추정이 안정화된다.
• 모델은 블록별로 일치 및 일치율 확률를 다양하게 허용함으로써 블록 간 이질성을 성공적으로 반영하여 국소 모델 적합도를 향상시킨다.
• 메트로폴리스-해스팅스 제안 분포 조정(예: h_M, h_Mk)이 시뮬레이션에서 샘플링 효율성과 수용률을 향상시켰다.
• 분산 및 공분산에 대한 블록별 초모수(예: σ²_θMk = 0.1325, σ²_τMk = 0.23)를 통합함으로써 더 견고한 분산 추정이 가능했다.
• 시뮬레이션 결과 계층적 모델은 사전 분포 설정에 더 민감하지만, 비계층적 대안에 비해 더 정확한 일치 분류를 도출한다.