[论文解读] An Experiment with Hierarchical Bayesian Record Linkage

Michael Larsen|arXiv (Cornell University)|Dec 20, 2012

Data Quality and Management参考文献 21被引用 4

一句话总结

本文提出了一种分层贝叶斯潜在类模型用于记录链接，通过引入块特定的异质性和信息性先验，提高了匹配准确性。使用吉布斯采样和梅特罗波利斯-黑斯廷斯算法，该方法相较于标准潜在类模型显著降低了链接错误率，尤其在不同块间数据分布存在差异时表现更优。

ABSTRACT

In record linkage (RL), or exact file matching, the goal is to identify the links between entities with information on two or more files. RL is an important activity in areas including counting the population, enhancing survey frames and data, and conducting epidemiological and follow-up studies. RL is challenging when files are very large, no accurate personal identification (ID) number is present on all files for all units, and some information is recorded with error. Without an unique ID number one must rely on comparisons of names, addresses, dates, and other information to find the links. Latent class models can be used to automatically score the value of information for determining match status. Data for fitting models come from comparisons made within groups of units that pass initial file blocking requirements. Data distributions can vary across blocks. This article examines the use of prior information and hierarchical latent class models in the context of RL.

研究动机与目标

• 解决在缺乏唯一标识符且数据中存在错误时记录链接面临的挑战。
• 对地理或分类块之间的比较分布的块间变异进行建模。
• 将以往类似链接操作中获得的信息性先验分布纳入模型以改善估计。
• 评估分层潜在类模型相较于标准LCA在降低链接错误率方面的性能表现。
• 开发一种可扩展、计算高效的贝叶斯框架，适用于大规模记录链接。

提出的方法

• 采用分层潜在类模型，其中匹配概率和一致率随块变化，以允许局部数据异质性。
• 在匹配和一致参数上应用非信息性和弱信息性先验，对方差和协方差设置超先验。
• 使用吉布斯采样和梅特罗波利斯-黑斯廷斯算法估计匹配指标和模型参数的后验分布。
• 将来自先前链接操作的信息性先验纳入模型，通过接受率调整调优参数。
• 将比较向量建模为K个字段（如姓名、出生日期、性别）上一致性的二值指标，潜在匹配状态作为隐变量。
• 通过限制指示矩阵I实施一对一匹配约束，确保每个个体在每一块中至多被链接一次。

实验结果

研究问题

• RQ1 在匹配和一致概率中引入块特定异质性如何影响记录链接的准确性？
• RQ2 从以往链接操作中获得的信息性先验在多大程度上能提升新链接任务中的模型性能？
• RQ3 分层贝叶斯模型与标准潜在类模型在错误率和收敛性方面有何比较差异？
• RQ4 先验方差规格的差异对模型稳定性和估计准确性有何影响？
• RQ5 MCMC采样策略（吉布斯采样和梅特罗波利斯-黑斯廷斯）能否被有效调优以提升大规模链接中的计算效率？

主要发现

• 与标准潜在类模型相比，分层贝叶斯模型显著降低了链接错误率，尤其在不同块间数据分布存在差异时表现更优。
• 从类似以往链接操作中获得的信息性先验可提高估计准确性并稳定参数估计。
• 该模型通过允许匹配和一致概率随块变化，成功捕捉了块间异质性，提升了局部模型拟合度。
• 对梅特罗波利斯-黑斯廷斯提议分布（如h_M, h_Mk）的调优提高了模拟中的采样效率和接受率。
• 在方差和协方差上使用块特定的超先验（如σ²_θMk = 0.1325, σ²_τMk = 0.23）带来了更稳健的方差估计。
• 模拟结果表明，该分层模型对先验设定更敏感，但相比非分层替代方案，其匹配分类更准确。