[논문 리뷰] Application of Advanced Record Linkage Techniques for Complex Population Reconstruction

Peter Christen|arXiv (Cornell University)|2016. 12. 13.

Data Quality and Management참고 문헌 3인용 수 5

한 줄 요약

이 논문은 시기적 및 역할 기반 제약 조건을 통합한 개인, 집단, 관계 기반 기록 연결 기법을 제안하여 출생, 사망, 결혼 및 인구 조사 기록으로부터 역사적 인구를 복원한다. 고도로 발전된 방법을 사용하고도 연결 품질은 여전히 제한되어 있으며, 핵심 쌍에서 AUC-PR 값이 0.5 이하에 머물러 있어 저유사도 및 높은 데이터 품질 문제로 인한 복잡한 개인 데이터 연결의 근본적 과제를 드러낸다.

ABSTRACT

Record linkage is the process of identifying records that refer to the same entities from several databases. This process is challenging because commonly no unique entity identifiers are available. Linkage therefore has to rely on partially identifying attributes, such as names and addresses of people. Recent years have seen the development of novel techniques for linking data from diverse application areas, where a major focus has been on linking complex data that contain records about different types of entities. Advanced approaches that exploit both the similarities between record attributes as well as the relationships between entities to identify clusters of matching records have been developed. In this application paper we study the novel problem where rather than different types of entities we have databases where the same entity can have different roles, and where these roles change over time. We specifically develop novel techniques for linking historical birth, death, marriage and census records with the aim to reconstruct the population covered by these records over a period of several decades. Our experimental evaluation on real Scottish data shows that even with advanced linkage techniques that consider group, relationship, and temporal aspects it is challenging to achieve high quality linkage from such complex data.

연구 동기 및 목표

• 유일한 식별자가 없는 이질적인 개인 기록에서 복잡한 역사적 인구를 복원하는 데 도전하는 것.
• 특히 관계 기반 및 집단 기반 연결 기법이 기존의 이원적 방법을 뛰어넘어 저유사도, 고노이즈 개인 데이터에서 정확도를 향상시킬 수 있는지 조사하는 것.
• 시기적 제약 조건, 역할 기반 관계, 데이터 품질 요소(예: 이름 변형, 누락 값)가 연결 성능에 미치는 영향을 평가하는 것.
• 기존의 문헌 기반 기록 연결 기법이 역사적 기록에서의 민감하고 복잡한 개인 데이터에 적용되었을 때의 한계를 규명하는 것.
• 개인, 관계, 집단 유사도 측정 방식을 1:1 및 1:다 제약 조건과 통합한 확장 가능하고 다층적인 연결 프레임워크를 개발하고 테스트하는 것.

제안 방법

• 출생, 사망, 결혼 및 인구 조사 증서 간의 매칭을 식별하기 위해 이원적, 집단적, 관계 기반 연결 기법을 융합한다.
• 관계 유사도 측정에 Jaccard 유사도를 사용하고, 군집 수준의 일관성 평가를 위해 다수의 집단 유사도 측정 방식(예: Jaccard, 코사인)을 활용한다.
• 논리적 일관성(예: 같은 가정에서 브라이드는 아기보다 나이가 많아야 함)을 확보하기 위해 시기적 제약 조건을 통합하고, 1:1/1:다 역할 기반 제약 조건을 적용한다.
• 개인, 집단, 관계 기반 연결 결과를 앙상블 전략을 통해 융합하여 전체 정밀도와 재현율을 향상시킨다.
• 누락된 속성 값의 포함 여부, 가중치가 부여된 vs. 부여되지 않은 속성 유사도, 시기적 필터링(예: 결혼과 가장 가까운 인구 조사)의 영향을 평가한다.
• 수동 전문가가 매칭한 결과를 기반으로 한 지표로 AUC-PR 및 F1 스코어를 다양한 연결 변형에 대해 평가한다.

실험 결과

연구 질문

• RQ1 관계 및 집단 구조를 활용하는 고도의 발전된 기록 연결 기법이 기존의 이원적 방법에 비해 복잡한 개인 데이터의 연결 품질을 크게 향상시킬 수 있는가?
• RQ2 시기적 제약 조건과 역할 기반 관계(예: 부모-자식, 브라이드-부모)는 역사적 기록에서의 인구 복원 정확도에 어떤 영향을 미치는가?
• RQ3 이름 변형, 전사 오류, 누락 값 등의 데이터 품질 문제로 인해 자동 연결 시스템의 성능이 어느 정도 제한되는가?
• RQ4 문헌 데이터에서 효과적인 최첨단 연결 기법이 개인 기록에서 역사적 인구를 복원하는 데 높은 정확도를 달성하지 못하는 이유는 무엇인가?
• RQ5 개인, 관계, 집단 연결 결과의 융합은 단일 방법에 비해 더 뛰어난 성능을 낼 수 있는가?

주요 결과

• 이원적 연결만으로는 성능이 열악하며, 인구 조사 기록 간 쌍에서 AUC-PR 값이 약 0.4 수준에 머물러 있어 속성 유사도만으로는 정확한 매칭이 불가능함을 시사한다.
• Jaccard 유사도를 사용한 관계 기반 연결이 더 복잡한 관계 유사도 방법보다 뛰어나며, Jaccard가 모든 기록 쌍에서 최고의 전체 성능을 기록한다.
• 집단 기반 연결에서는 특정 유사도 측정 방식에 명확한 우월성이 없으며, 현재의 집단 유사도 함수가 이 데이터 유형에 최적화되어 있지 않음을 시사한다.
• 누락된 속성 값을 포함시키면 연결 품질이 약간 향상되지만, 속성 가중치 부여는 측정 가능한 성과 향상 없이 시행된다.
• 가장 가까운 시기적 인구 조사 기록으로 제한된 인구 조사 매칭이 성능 향상에 기여함을 보여, 시기적 근접성이 유용한 히ュ리스틱임을 시사한다.
• 1:1 및 1:다 제약 조건을 적용하면 집단 기반 연결 품질이 크게 향상되지만, 관계 기반 연결에는 영향을 주지 않아 제약 조건 모델링이 집단 맥락에서 더 효과적임을 시사한다.