[論文レビュー] An Experiment with Hierarchical Bayesian Record Linkage

Michael Larsen|arXiv (Cornell University)|Dec 20, 2012

Data Quality and Management参考文献 21被引用数 4

ひとこと要約

本稿では、ブロック固有の不均一性と情報的事前分布を組み込むことでマッチング精度を向上させる階層ベイズ潜在クラスモデルを提案する。ギブス法およびメトロポリス・フاستリング法を用いることで、特にブロック間でデータ分布が異なる場合に、標準的な潜在クラスモデルと比較して連結エラー率を低減する。

ABSTRACT

In record linkage (RL), or exact file matching, the goal is to identify the links between entities with information on two or more files. RL is an important activity in areas including counting the population, enhancing survey frames and data, and conducting epidemiological and follow-up studies. RL is challenging when files are very large, no accurate personal identification (ID) number is present on all files for all units, and some information is recorded with error. Without an unique ID number one must rely on comparisons of names, addresses, dates, and other information to find the links. Latent class models can be used to automatically score the value of information for determining match status. Data for fitting models come from comparisons made within groups of units that pass initial file blocking requirements. Data distributions can vary across blocks. This article examines the use of prior information and hierarchical latent class models in the context of RL.

研究の動機と目的

• 固有のIDが存在せず、データ誤りを含む状況におけるレコードリンケージの課題に対処すること。
• 地理的またはカテゴリカルなブロックごとの比較分布のブロック間ばらつきをモデル化すること。
• 類似した過去のリンケージ作業からの情報的事前分布を組み込み、推定を改善すること。
• 階層的潜在クラスモデルの連結エラー率低減効果を、標準的なLCAと比較して評価すること。
• 大規模レコードリンケージに適したスケーラブルで計算的に効率的なベイズフレームワークの開発

提案手法

• マッチング確率と一致率がブロックごとに変化する階層的潜在クラスモデルを用い、局所的なデータの不均一性を許容する。
• マッチングおよび一致パラメータに非情報的および弱情報的事前分布を適用し、分散および共分散のハイパーパラメータを設定する。
• マッチングインジケータおよびモデルパラメータの後部分布推定に、ギブスサンプリングおよびメトロポリス・フاستリングアルゴリズムを用いる。
• 過去のリンケージ作業から得た情報的事前分布を組み込み、受容率に基づいてチューニングパラメータを調整する。
• 比較ベクトルをK個のフィールド（例：名前、生年月日、性別）における一致のバイナリインジケータとしてモデル化し、潜在的なマッチステータスを隠れ変数として扱う。
• インジケータ行列Iへの制約を導入することで1対1マッチング制約を実装し、各ブロック内で1人の個体が複数回リンクされることを防ぐ。

実験結果

リサーチクエスチョン

• RQ1 マッチングおよび一致確率にブロック固有の不均一性を組み込むと、レコードリンケージの正確性にどのような影響を与えるか？
• RQ2 過去のリンケージ作業からの情報的事前分布は、新しいリンケージタスクにおけるモデル性能をどの程度向上させるか？
• RQ3 階層的ベイズモデルと標準的な潜在クラスモデルの間で、誤差率および収束性の観点からどのように異なるか？
• RQ4 事前分散の仕様が異なると、モデルの安定性および推定精度にどのような影響を与えるか？
• RQ5 ギブス法およびメトロポリス・フاستリング法を用いたMCMCサンプリング戦略は、大規模リンケージにおいて計算効率を向上させるために適切にチューニング可能か？

主な発見

• 階層的ベイズモデルは、特にブロック間でデータ分布が異なる場合に、標準的な潜在クラスモデルと比較して顕著に連結エラー率を低減した。
• 類似した過去のリンケージ作業からの情報的事前分布を組み込むことで、推定精度が向上し、パラメータ推定が安定化した。
• マッチングおよび一致確率をブロックごとに変化させることで、ブロック間の不均一性を適切にモデル化し、局所的なモデル適合度を向上させた。
• メトロポリス・フاستリング提案分布（例：h_M, h_Mk）のチューニングにより、シミュレーションにおいてサンプリング効率および受容率が向上した。
• 分散および共分散にブロック固有のハイパーパラメータ（例：σ²_θMk = 0.1325, σ²_τMk = 0.23）を適用することで、より頑健な分散推定が達成された。
• シミュレーションの結果、階層モデルは事前分布の指定にやや敏感であるが、非階層的代替手法と比較してより正確なマッチ分類が得られた。