[论文解读] SMERED: A Bayesian Approach to Graphical Record Linkage and De-duplication

Rebecca C. Steorts, Rob Hall+1 more|arXiv (Cornell University)|Mar 2, 2014

Data Quality and Management参考文献 14被引用 27

一句话总结

SMERED 提出了一种新颖的贝叶斯图模型，通过将记录与潜在的真实个体通过二分图连接，实现跨多个文件的同步记录链接与去重。该方法利用混合 MCMC 算法实现高效、线性时间的推理，并提供精确的不确定性传播，在处理高维、噪声数据时，即使存在重复记录，也能将误报率降至最低。

ABSTRACT

We propose a novel unsupervised approach for linking records across arbitrarily many files, while simultaneously detecting duplicate records within files. Our key innovation is to represent the pattern of links between records as a {\em bipartite} graph, in which records are directly linked to latent true individuals, and only indirectly linked to other records. This flexible new representation of the linkage structure naturally allows us to estimate the attributes of the unique observable people in the population, calculate $k$-way posterior probabilities of matches across records, and propagate the uncertainty of record linkage into later analyses. Our linkage structure lends itself to an efficient, linear-time, hybrid Markov chain Monte Carlo algorithm, which overcomes many obstacles encountered by previously proposed methods of record linkage, despite the high dimensional parameter space. We assess our results on real and simulated data.

研究动机与目标

• 解决在多个可能存在重叠的数据文件之间链接记录并检测文件内重复记录的挑战。
• 显式建模数据失真，并估计总体中唯一个体的真实属性。
• 通过贝叶斯方法提供一个统一的记录链接、去重和不确定性量化框架。
• 通过线性时间 MCMC 算法实现在高维参数空间中的高效推理。
• 支持下游统计分析中的精确误差传播，特别是在捕获-再捕获和总体估计中。

提出的方法

• 将链接结构表示为二分图，其中记录直接连接到潜在的真实个体，而非彼此之间。
• 使用参数化贝叶斯模型，将观测到的记录数据建模为潜在真实个体属性的噪声、分类测量值。
• 采用一种混合马尔可夫链蒙特卡洛（MCMC）算法，其运行时间与记录数和 MCMC 迭代次数呈线性关系。
• 引入分块技术以提高计算效率，尤其在文件内无重复记录时效果更显著。
• 通过在链接分配的不确定性上进行积分，估计后验匹配概率和总体层面的属性。
• 通过为每个记录分配至潜在个体的多项式分配过程，同时支持 k 路链接与去重。

实验结果

研究问题

• RQ1 如何同时建模记录链接与去重，以支持不确定性量化和误差传播？
• RQ2 具有潜在个体的贝叶斯图模型是否能在高维记录链接问题中实现可扩展的线性时间推理？
• RQ3 在真实世界数据上，与现有方法相比，该方法在误报率和漏报率方面的表现如何？
• RQ4 匹配字段有限（如姓名、地址）对链接性能有何影响，如何缓解这一问题？
• RQ5 该模型在处理具有缺失或失真属性的重叠、非完全一致的数据文件方面，能力如何？

主要发现

• 在合并三波 NLTCS 数据时，SMERED 的漏报率（FNR）为 0.11，误报率（FPR）为 0.37，而 SMERE 的 FPR 为 0.046，表明由于匹配字段有限，误链接率更高。
• 在完整的 NLTCS 数据集中，该方法检测到 10,595 个错误链接和 3,346 个缺失链接，对完整记录集匹配数的估计相对误差为 -15.09%。
• 当存在重复记录时，SMERED 在匹配估计上的相对误差为 -15.09%，而 SMERE 为 -11.47%，表明在复杂链接条件下具有更高的准确性。
• 在文件内无重复记录的情况下，SMERED 的 FNR 降至 0.09，FPR 降至 0.37，表明当数据结构假设成立时性能显著提升。
• 该模型成功估计了总体层面的属性，大多数字段的相对误差低于 10%，尤其在跨多波次链接的记录中估计最为准确。
• 混合 MCMC 算法实现了线性时间复杂度，即使在高维参数空间中也能实现高效推理，在假设使用分块且文件内无重复记录时，性能提升显著。