[论文解读] Application of Advanced Record Linkage Techniques for Complex Population Reconstruction

Peter Christen|arXiv (Cornell University)|Dec 13, 2016

Data Quality and Management参考文献 3被引用 5

一句话总结

本文提出了一种新颖的整合方法，将个体、群体和关系记录链接技术与时间约束和角色约束相结合，以从出生、死亡、婚姻和人口普查记录中重建历史人口。尽管采用了先进方法，链接质量仍有限——关键配对的AUC-PR值低于0.5，凸显了在属性相似度低且数据质量差的复杂个人数据链接中存在根本性挑战。

ABSTRACT

Record linkage is the process of identifying records that refer to the same entities from several databases. This process is challenging because commonly no unique entity identifiers are available. Linkage therefore has to rely on partially identifying attributes, such as names and addresses of people. Recent years have seen the development of novel techniques for linking data from diverse application areas, where a major focus has been on linking complex data that contain records about different types of entities. Advanced approaches that exploit both the similarities between record attributes as well as the relationships between entities to identify clusters of matching records have been developed. In this application paper we study the novel problem where rather than different types of entities we have databases where the same entity can have different roles, and where these roles change over time. We specifically develop novel techniques for linking historical birth, death, marriage and census records with the aim to reconstruct the population covered by these records over a period of several decades. Our experimental evaluation on real Scottish data shows that even with advanced linkage techniques that consider group, relationship, and temporal aspects it is challenging to achieve high quality linkage from such complex data.

研究动机与目标

• 解决从缺乏唯一标识符的异构个人记录中重建复杂历史人口的挑战。
• 探究高级链接技术（尤其是关系链接和群体链接）是否能在低相似度、高噪声的个人数据中，超越传统成对方法提高准确性。
• 评估时间约束、基于角色的关系以及数据质量因素（如姓名变体、缺失值）对链接性能的影响。
• 识别现有书目数据链接技术在应用于历史记录中的敏感复杂个人数据时的局限性。
• 开发并测试一种可扩展的多层链接框架，整合个体、关系和群体相似度度量，并结合1对1和1对多约束。

提出的方法

• 结合成对、群体和关系链接技术，以识别出生、死亡、婚姻和人口普查证书之间的匹配。
• 使用Jaccard相似度计算关系相似度，采用多种群体相似度度量（如Jaccard、余弦）评估聚类层面的一致性。
• 引入时间约束以确保逻辑一致性（例如，同一家庭中的新郎必须比婴儿年长），并应用1对1/1对多基于角色的约束。
• 通过集成策略融合个体、群体和关系链接的结果，以提高整体精确率和召回率。
• 评估排除与包含缺失属性值、加权与非加权属性相似度，以及时间过滤（如与婚姻最接近的人口普查）的影响。
• 采用混合方法，其中人工专家链接作为评估不同链接变体AUC-PR和F1分数的基准真实数据。

实验结果

研究问题

• RQ1 与传统成对方法相比，利用关系和群体结构的高级记录链接技术是否能显著提升复杂个人数据的链接质量？
• RQ2 时间约束和基于角色的关系（如父母-子女、新娘-父母）如何影响从历史记录中重建人口的准确性？
• RQ3 数据质量问题（如姓名变体、转录错误和缺失值）在多大程度上限制了自动化链接系统的性能？
• RQ4 为何在书目数据中表现良好的最先进链接技术，在从个人记录重建历史人口时无法实现高准确性？
• RQ5 融合个体、关系和群体链接结果是否能获得优于单一方法的性能？

主要发现

• 仅使用成对链接性能较差，人口普查到人口普查配对的AUC-PR值约为0.4，表明仅靠属性相似度不足以实现准确匹配。
• 使用Jaccard相似度的关系链接优于更复杂的关联相似度方法，Jaccard在所有记录配对中均取得最佳总体结果。
• 群体链接在任一特定相似度度量上均未表现出明显优势，表明当前的群体相似度函数尚不适合此类数据类型。
• 包含缺失属性值可略微提升链接质量，而属性加权未带来可测量的增益。
• 将人口普查链接限制在时间上最近的普查证书可提高链接性能，表明时间接近度是一个有用的启发式方法。
• 应用1对1和1对多约束显著提升了群体链接质量，但对关系链接无改善，表明约束建模在群体情境中更为有效。