[論文レビュー] Practical Bayesian Inference for Record Linkage

Brendan S. McVeigh, Jared S. Murray|arXiv (Cornell University)|Oct 29, 2017

Data Quality and Management参考文献 22被引用数 4

ひとこと要約

本稿は、計算効率の良いベイジアンアプローチを提案し、確率的レコードリンキングを実現する。これは、迅速な点推定のためのペナルティ付き尤度推定と、事後推論のための制限付きMCMCサンプリングを組み合わせたものである。後処理ブロッキングを用いてMCMCを高不確実性のリンクに集中させることで、大規模データセット上でのスケーラブルで不確実性を考慮したリンキングを可能にし、大規模な国勢調査の応用において94.6%の精度と95.5%の再現率を達成した。

ABSTRACT

Probabilistic record linkage (PRL) is the process of determining which records in two databases correspond to the same underlying entity in the absence of a unique identifier. Bayesian solutions to this problem provide a powerful mechanism for propagating uncertainty due to uncertain links between records (via the posterior distribution). However, computational considerations severely limit the practical applicability of existing Bayesian approaches. We propose a new computational approach, providing both a fast algorithm for deriving point estimates of the linkage structure that properly account for one-to-one matching and a restricted MCMC algorithm that samples from an approximate posterior distribution. Our advances make it possible to perform Bayesian PRL for larger problems, and to assess the sensitivity of results to varying prior specifications. We demonstrate the methods on simulated data and an application to a post-enumeration survey for coverage estimation in the Italian census.

研究の動機と目的

• 大規模データセットにおける既存のベイジアンレコードリンキング手法の計算不能性を解決すること。
• 1対1のマッチング制約を考慮した高速かつ正確な点推定手法を開発すること。
• 高不確実性のリンクにのみ焦点を当てる制限付きMCMCアルゴリズムを用いて、事後サンプリングを可能にすること。
• シミュレーテッドデータと実世界のイタリア国勢調査の後日調査に、本手法の有効性を示すこと。
• 連結データを用いた下流解析における不確実性の伝播を可能にするフレームワークを提供すること。

提案手法

• 従来のベイジアン手法よりも計算効率を向上させるために、モデルパラメータとリンキング構造を同時に推定するペナルティ付き最尤推定法を提案する。
• ペナルティ付き尤度重みを用いてブロックを定義する後処理ブロッキングを導入し、MCMCで評価対象とするレコードペアの数を99.98%削減する。
• 後処理ブロック内でのみ追加/削除/スワップの移動を実行する制限付きMCMCアルゴリズムを適用し、並列処理とスケーラビリティを実現する。
• マッチング対象のレコードペアと非マッチング対象のレコードペアに対する証拠を要約するため、対数尤度比重み $ w_{ab} = \log\left(\frac{m(\gamma_{ab})}{u(\gamma_{ab})}\right) $ を用いる。
• 比較間の条件付き独立性を仮定することで、パラメータ空間を縮小し、モデルの取り扱いやすさを向上させる。
• ブロックサイズを制御するためのしきい値 $ w_0 $ を用い、計算効率と真のマッチの保持のバランスをとる。

実験結果

リサーチクエスチョン

• RQ1 ペナルティ付き尤度アプローチは、1対1のマッチング制約を満たす高速かつ正確な点推定を提供できるか？
• RQ2 MCMCサンプリングを高不確実性のリンクに限定することで、計算スケーラビリティを向上させられるか？
• RQ3 ペナルティ付き尤度重みに基づく後処理ブロッキングは、MCMC評価が必要なレコードペアの数をどの程度削減できるか？
• RQ4 ペナルティ付き尤度推定の性能は、EM+LSAPと比較して大規模データにおいて精度と再現率の点で優れているか？
• RQ5 制限付きMCMCアルゴリズムは、下流解析における不確実性の定量化を支援する信頼性のある事後サンプルを生成できるか？

主な発見

• ペナルティ付き尤度法は、25,000件の真のマッチを含む大規模なシミュレーテッドデータセットで、再現率92.7%、精度94.6%を達成し、EM+LSAPの精度62.6%を上回った。
• 制限付きMCMCアルゴリズムにより再現率が95.5%に向上し、精度は94.6%を維持した。これにより、推論品質の向上が確認された。
• しきい値 $ w_0 = 4.9 $ を用いた後処理ブロッキングにより、レコードペアの数が1億6000万件から36,356件にまで削減され、99.98%の削減率を達成した。
• ペアの完全性指標は99.5%であり、25,000件の真のマッチのうち24,877件が後処理ブロックに保持されたことを示した。
• ペナルティ付き尤度法は、繰り返しLSAPの解法を伴うEM+LSAP（320秒）よりも全体として高速（290秒）であった。
• 本手法により、23,903個の後処理ブロックに限定してMCMCを実行することで、スケーラブルな事後サンプリングが可能になった。