[论文解读] A hierarchical Bayesian approach to record linkage and size population problems

Andrea Tancredi, Brunero Liseo|arXiv (Cornell University)|Nov 11, 2010

Census and Population Estimation被引用 5

一句话总结

本文提出了一种分层贝叶斯模型，用于记录链接和总体规模估计，该模型保留了完整的分类数据，并实现了参数估计与匹配之间的双向不确定性传播。通过避免0-1简化和消除插补估计，该方法在真实数据和模拟实验中均显示出更高的准确性。

ABSTRACT

We propose and illustrate a hierarchical Bayesian approach for matching statistical records observed on different occasions. We show how this model can be profitably adopted both in record linkage problems and in capture--recapture setups, where the size of a finite population is the real object of interest. There are at least two important differences between the proposed model-based approach and the current practice in record linkage. First, the statistical model is built up on the actually observed categorical variables and no reduction (to 0--1 comparisons) of the available information takes place. Second, the hierarchical structure of the model allows a two-way propagation of the uncertainty between the parameter estimation step and the matching procedure so that no plug-in estimates are used and the correct uncertainty is accounted for both in estimating the population size and in performing the record linkage. We illustrate and motivate our proposal through a real data example and simulations.

研究动机与目标

• 解决传统记录链接方法将分类数据简化为二元比较所带来的局限性。
• 开发一个统一的框架，同时实现记录链接和捕获-再捕获总体规模估计。
• 在匹配与参数估计之间实现双向不确定性传播，避免使用插补估计。
• 通过利用完整数据信息，提高有限总体规模估计和记录匹配的准确性与可靠性。

提出的方法

• 直接基于观测的分类变量构建分层贝叶斯模型，完整保留所有数据信息。
• 引入参数估计与匹配决策之间的双向不确定性传播机制。
• 采用马尔可夫链蒙特卡洛（MCMC）方法进行匹配和总体规模的后验推断。
• 将匹配概率建模为观测分类协变量的函数，避免使用任意的0-1阈值。
• 以分层结构组织模型，实现记录间的信息共享，提升估计的稳定性。
• 在统一的统计框架下，将该模型应用于记录链接和捕获-再捕获问题。

实验结果

研究问题

• RQ1 如何通过保留完整的分类数据而非简化为二元比较，来改进记录链接？
• RQ2 双向不确定性传播在多大程度上提升了总体规模估计的准确性？
• RQ3 一个单一的分层贝叶斯模型能否有效处理记录链接和总体规模估计？
• RQ4 与传统方法相比，该方法在不确定性量化和估计准确性方面表现如何？

主要发现

• 所提出的模型完整保留了所有分类信息，避免了因0-1比较导致的信息损失。
• 双向不确定性传播通过避免使用插补估计，带来了更准确、更可靠的估计结果。
• 该方法为匹配决策和总体规模估计提供了连贯的不确定性量化。
• 模拟和真实数据示例表明，其性能优于传统方法。
• 分层结构通过在记录间借用信息，增强了估计的稳定性。
• 该模型成功地在单一一致的框架下统一了记录链接与捕获-再捕获方法。