[論文レビュー] SMERED: A Bayesian Approach to Graphical Record Linkage and De-duplication

Rebecca C. Steorts, Rob Hall+1 more|arXiv (Cornell University)|Mar 2, 2014

Data Quality and Management参考文献 14被引用数 27

ひとこと要約

SMEREDは、レコードを潜在的真の個人に接続する二部グラフとしてリンクを表現することで、複数のファイルにまたがる同時的なレコードリンケージおよびデュプレート検出のための新しいベイジアングラフィカルモデルを提案する。この手法は、ハイブリッドMCMCアルゴリズムを用いて線形時間で推論を可能にし、正確な不確実性の伝播を実現する。高次元でノイズの多いデータを扱う際、重複が存在する場合でも誤検出を最小限に抑える点で、既存の手法を上回る性能を発揮する。

ABSTRACT

We propose a novel unsupervised approach for linking records across arbitrarily many files, while simultaneously detecting duplicate records within files. Our key innovation is to represent the pattern of links between records as a {\em bipartite} graph, in which records are directly linked to latent true individuals, and only indirectly linked to other records. This flexible new representation of the linkage structure naturally allows us to estimate the attributes of the unique observable people in the population, calculate $k$-way posterior probabilities of matches across records, and propagate the uncertainty of record linkage into later analyses. Our linkage structure lends itself to an efficient, linear-time, hybrid Markov chain Monte Carlo algorithm, which overcomes many obstacles encountered by previously proposed methods of record linkage, despite the high dimensional parameter space. We assess our results on real and simulated data.

研究の動機と目的

• 複数の重複する可能性のあるデータファイル間でレコードをリンクする課題に対処すること。
• データの歪みを明示的にモデル化し、母集団内の固有の個人の真の属性を推定すること。
• ベイジアンアプローチを用いて、レコードリンケージ、デュプレート検出、不確実性の定量化を統合したフレームワークを提供すること。
• 線形時間MCMCアルゴリズムを用いて、高次元パrameter空間における効率的な推論を可能にすること。
• とりわけキャプチャ・レキャプチャおよび母集団推定において、下流の統計解析に正確な誤差伝播をサポートすること。

提案手法

• リンク構造を、レコードが互いに直接接続されるのではなく、潜在的真の個人に接続される二部グラフとして表現する。
• 観測されたレコードデータを、パラメトリックベイジアンモデルを用いて、潜在的真の個人属性のノイズのあるカテゴリカル測定値としてモデル化する。
• レコード数およびMCMC反復回数に比例して線形時間で実行されるハイブリッドマルコフ連鎖モンテカルロ（MCMC）アルゴリズムを用いる。
• 特にファイル内に重複がないことが分かっている場合に計算効率を向上させるためにブロッキング技術を組み込む。
• リンク割り当ての不確実性を統合することで、事後一致確率および母集団レベルの属性を推定する。
• 各レコードの潜在的個人への割り当てを多項分布の割り当てプロセスとしてモデル化することで、k方向リンケージおよびデュプレート検出を両立する。

実験結果

リサーチクエスチョン

• RQ1 不確実性の定量化と誤差伝播をサポートする形で、同時にレコードリンケージとデュプレート検出をモデル化する方法は何か？
• RQ2 潜在的個人を有するベイジアングラフィカルモデルは、高次元レコードリンケージ問題においてスケーラブルで線形時間の推論を可能にするか？
• RQ3 実世界のデータにおいて、既存の手法と比較して本手法の誤検出率（FPR）および誤未検出率（FNR）はどのように異なるか？
• RQ4 限られたマッチングフィールド（例：名前、住所）がリンケージ性能に与える影響は何か。また、その影響をどのように軽減できるか？
• RQ5 重複するが同一でないデータファイル、および欠損または歪んだ属性を有するデータに対して、モデルはどの程度耐性を示せるか？

主な発見

• 3波にわたるNLTCSデータを統合した際、SMEREDは偽陰性率（FNR）が0.11、偽陽性率（FPR）が0.37であったのに対し、SMEREではFPRが0.046であった。これは、マッチングフィールドが限られているため、誤ったリンク率が高くなったことを示している。
• 全NLTCSデータセットにおいて、10,595件の誤ったリンクと3,346件の欠落リンクが検出され、全レコードのマッチ数推定値の相対誤差は-15.09%であった。
• 重複が存在する状況では、SMEREDのマッチ推定における相対誤差は-15.09%であったのに対し、SMEREは-11.47%であった。これは、複雑なリンケージ条件下でもより高い正確性を示している。
• ファイル内に重複がない場合、SMEREDのFNRは0.09、FPRは0.37に低下し、データ構造に関する仮定が満たされた場合に性能が向上することが示された。
• ほとんどのフィールドで母集団レベルの属性を相対誤差10%未満で推定でき、特に複数波にわたってリンクされたレコードに対して最も正確な推定が得られた。
• ハイブリッドMCMCアルゴリズムは線形時間の複雑度を達成し、高次元パrameter空間でも効率的な推論を可能にした。特にブロッキングを適用し、ファイル内に重複がないと仮定した場合、顕著な高速化が得られた。