[論文レビュー] Scaling Bayesian Probabilistic Record Linkage with Post-Hoc Blocking: An Application to the California Great Registers

Brendan S. McVeigh, Bradley T. Spahn+1 more|arXiv (Cornell University)|May 14, 2019

Data Quality and Management参考文献 34被引用数 12

ひとこと要約

この論文は、後からブロッキングを行うことで、大規模な歴史的データセット（特にカリフォルニア州の大規模登録簿）上で効率的な事後推論を可能にするスケーラブルなベイジアン確率的レコードリンキング手法を提案している。具体的には、1台のマシンで数時間の計算で数十万件のレコードに対する完全な事後分布を推定できることを示しており、ニューディール時代における個人レベルの政党支持の変化に関する新たな知見を可能にしている。

ABSTRACT

Probabilistic record linkage (PRL) is the process of determining which records in two databases correspond to the same underlying entity in the absence of a unique identifier. Bayesian solutions to this problem provide a powerful mechanism for propagating uncertainty due to uncertain links between records (via the posterior distribution). However, computational considerations severely limit the practical applicability of existing Bayesian approaches. We propose a new computational approach, providing both a fast algorithm for deriving point estimates of the linkage structure that properly account for one-to-one matching and a restricted MCMC algorithm that samples from an approximate posterior distribution. Our advances make it possible to perform Bayesian PRL for larger problems, and to assess the sensitivity of results to varying prior specifications. We demonstrate the methods on a subset of an OCR'd dataset, the California Great Registers, a collection of 57 million voter registrations from 1900 to 1968 that comprise the only panel data set of party registration collected before the advent of scientific surveys.

研究の動機と目的

• 清潔な準識別子を備えない大規模データセットにおけるベイジアン確率的レコードリンキングの計算的非実行可能性に対処する。
• 誤りの多い識別子による伝統的なブロッキング手法が、誤った非マッチ率を引き上げるという限界を克服する。
• 標準的なデスクトップハードウェアのみを用いて、数十万件のレコードを含むデータセットに対して、完全な事後推論を可能にする。
• 不確実性の定量化を損なわずにスケーラビリティを向上させる、モデルに依存しないデータ駆動型のベイジアン推論の近似手法を提供する。
• 歴史的有権者登録データにこの手法を適用し、ニューディール期における個人レベルの政党所属の変化を研究する。

提案手法

• 後からブロッキング（post-hoc blocking）を導入し、マッチ状態に高い曖昧性を示すレコードペアに焦点を当てて推論を行うことで、計算負荷を低減するデータ駆動型戦略を採用する。
• モデルの適合後に行うため、事前に定義されたまたはラベル付けされたブロッキングキーに依存せず、ノイズの多い歴史的データに適している。
• 名前、住所、職業、その他の属性の比較関数を用い、m-およびu-パラメータを組み込んだベイジアン階層モデルを用いてマッチ確率を推定する。
• 後からブロッキングによって特定された曖昧なレコードペアの集合に限定して、マルコフ連鎖モンテカルロ法（MCMC）による事後分布サンプリングを実装する。
• 再現性とパフォーマンスを確保するため、Juliaプログラミング言語と公開パッケージ（BayesianRecordLinkage.jl）を活用する。
• U補正を用いてパラメータ推定を安定化させ、部分的なマッチが存在する状況でもモデルのキャリブレーションを向上させる。

実験結果

リサーチクエスチョン

• RQ1 清潔なブロッキングキーに依存せずに、数十万件のレコードを含むデータセットに対してベイジアン確率的レコードリンキングをスケーリング可能か？
• RQ2 後からブロッキングは、ベイジアン推論の不確実性定量化の利点を保ちながら、計算効率をどのように向上させるか？
• RQ3 リンクされた歴史的有権者登録データに対するベイジアン推論は、ニューディール期における個人レベルの政党支持変化のパターンをどの程度明らかにできるか？
• RQ4 fastLinkなどの既存手法と比較して、提案手法のマッチ確率推定の正確性とデータ誤りに対するロバストネスはいかがなっているか？
• RQ5 モデルの誤特定または制約違反（例：1対1マッチング）が、大規模な歴史的データにおけるリンキング品質に与える影響は何か？

主な発見

• 提案手法により、1台のマシンでカリフォルニア州の大規模登録簿から得た26万件を超える有権者レコードの完全な事後推論が数時間で実現可能となった。
• 後からブロッキングにより、完全なベイジアン推論を要するレコードペアの数が管理可能なサブセットに削減され、計算が最も曖昧なマッチに集中した。
• ベイジアンモデルは、名前・職業・住所が同一の正確なマッチ（例：同じ名前のウィリアム・ブラウン）を高い事後確率で正しく特定しているが、fastLinkは非マッチペアに対しても誤った高い確率を割り当てている。
• ベイジアンモデルの推定マッチ確率は、住所や職業のOCRエラーなどの欠損または不整合データに対してもロバストであり、比較タイプごとに論理的な順序を保っている。
• この手法により、政党支持の転換がすべての個人に均一に発生したわけではないことが明らかになった。特に労働者階級や都市部に住む有権者の多くが、1932年に共和党に登録したが、1936年には民主党に移った。
• 真のマッチが存在する場合でも、誤ったマッチを誤って特定しない点で、ベイジアンモデルの事後推定はfastLinkのものよりも信頼性が高く、複数の候補が類似していても誤ったマッチにゼロ確率を割り当てる。