[논문 리뷰] SMERED: A Bayesian Approach to Graphical Record Linkage and De-duplication

Rebecca C. Steorts, Rob Hall외 1명|arXiv (Cornell University)|2014. 03. 02.

Data Quality and Management참고 문헌 14인용 수 27

한 줄 요약

SMERED는 기록 간의 동시 연결 및 복제 제거를 위해 잠재적 진짜 개인에 연결된 이분 그래프를 통해 연결을 표현하는 새로운 베이지안 그래픽 모델을 제안한다. 이 방법은 하이브리드 MCMC 알고리즘을 통해 선형 시간 내에 효율적인 추론을 가능하게 하며 정확한 불확실성 전파를 제공하여, 높은 차원의 노이즈가 많은 데이터에서 복제가 존재할 경우 최소한의 오소거리(false positives)로 기존 방법들을 능가한다.

ABSTRACT

We propose a novel unsupervised approach for linking records across arbitrarily many files, while simultaneously detecting duplicate records within files. Our key innovation is to represent the pattern of links between records as a {\em bipartite} graph, in which records are directly linked to latent true individuals, and only indirectly linked to other records. This flexible new representation of the linkage structure naturally allows us to estimate the attributes of the unique observable people in the population, calculate $k$-way posterior probabilities of matches across records, and propagate the uncertainty of record linkage into later analyses. Our linkage structure lends itself to an efficient, linear-time, hybrid Markov chain Monte Carlo algorithm, which overcomes many obstacles encountered by previously proposed methods of record linkage, despite the high dimensional parameter space. We assess our results on real and simulated data.

연구 동기 및 목표

• 다중 파일 간 기록 연결 문제를 해결하고 파일 내에서 복제를 탐지하는 데 목적이 있다.
• 데이터 왜곡을 명시적으로 모델링하고 인구 내 유일한 개인의 진짜 특성을 추정하는 데 목적이 있다.
• 베이지안 접근을 통해 기록 연결, 복제 제거, 불확실성 정량화를 통합하는 프레임워크를 제공하는 데 목적이 있다.
• 선형 시간 MCMC 알고리즘을 통해 고차원 매개변수 공간에서 효율적인 추론을 가능하게 하는 데 목적이 있다.
• 특히 캡처-재포획 및 인구 추정과 같은 후행 통계 분석에서 정확한 오류 전파를 지원하는 데 목적이 있다.

제안 방법

• 기록 간 연결 구조를 이분 그래프로 표현하여 기록이 직접적으로 서로 연결되는 것이 아니라 잠재적 진짜 개인에 연결되도록 한다.
• 관측된 기록 데이터를 잠재적 진짜 개인 특성의 노이즈가 있는 범주형 측정값으로 간주하고, 비모수적 베이지안 모델을 사용한다.
• 기록 수와 MCMC 반복 수에 대해 선형 시간 복잡도를 가지는 하이브리드 마르코프 체인 몬테카를로(MCMC) 알고리즘을 사용한다.
• 특히 파일 내에서 복제가 존재하지 않는 경우에 효율성을 높이기 위해 블로킹 기법을 통합한다.
• 연결 할당에 대한 불확실성 통합을 통해 사후 매칭 확률과 인구 수준의 특성을 추정한다.
• 각 기록의 잠재적 개인에 대한 다항 분할 과정을 모델링하여 k-way 연결 및 복제 제거를 둘 다 지원한다.

실험 결과

연구 질문

• RQ1 기록 연결 및 복제 제거를 동시에 모델링하면서 불확실성 정량화와 오류 전파를 지원할 수 있는 방법은 무엇인가?
• RQ2 잠재적 개인을 포함한 베이지안 그래픽 모델이 고차원 기록 연결 문제에서 확장 가능하고 선형 시간 내에 추론이 가능한가?
• RQ3 실제 데이터에서 기존 방법들과 비교해 복제가 존재할 경우 오소거리 및 오소거리 비율에서 본 방법의 성능은 어떠한가?
• RQ4 제한된 매칭 필드(예: 이름, 주소)가 연결 성능에 어떤 영향을 미치며, 이를 어떻게 완화할 수 있는가?
• RQ5 모델이 겹치는, 동일하지 않은 데이터 파일과 누락되거나 왜곡된 특성을 가진 데이터를 어느 정도 다룰 수 있는가?

주요 결과

• 세 번의 NLTCS 데이터 웨이브를 조합했을 때 SMERED는 참음성률(FNR)이 0.11이고 참양성률(FPR)이 0.37이었으며, SMERE의 FPR 0.046보다 높아 제한된 매칭 필드로 인해 더 높은 오소거리 비율을 보였다.
• 전체 NLTCS 데이터셋에서 10,595개의 오소거리와 3,346개의 누락된 연결을 탐지했으며, 전체 기록 집합의 매칭 수 추정치에 대해 상대 오차가 -15.09%였다.
• 복제가 존재할 경우 SMERED의 매칭 수 추정 상대 오차는 -15.09%였고, SMERE는 -11.47%였으며, 복잡한 연결 조건 하에서 더 정확한 성능을 보였다.
• 파일 내 복제가 없는 조건에서는 SMERED의 FNR이 0.09로 감소하고 FPR도 0.37로 낮아져 데이터 구조에 대한 가정이 충족될 경우 성능 향상을 보였다.
• 대부분의 필드에서 상대 오차가 10% 이내로 인구 수준의 특성을 성공적으로 추정했으며, 다중 웨이브에 걸쳐 연결된 기록에서 가장 정확한 추정치를 도출했다.
• 하이브리드 MCMC 알고리즘이 선형 시간 복잡도를 확보하여 고차원 매개변수 공간에서도 효율적인 추론이 가능했으며, 블로킹을 적용하고 파일 내 복제가 없는 것으로 가정할 경우 뚜렷한 속도 향상이 있었다.