[論文レビュー] A Comparison of Blocking Methods for Record Linkage

Rebecca C. Steorts, Samuel Ventura+2 more|arXiv (Cornell University)|Jul 11, 2014

Data Quality and Management参考文献 14被引用数 21

ひとこと要約

本論文は、スケーラブルなレコードリンクアップのための従来のブロッキング手法と、2つの局所性に敏感なハッシュ（LSH）の変種—推移的LSH（TLSH）とk-means LSH（KLSH）—を比較している。KLSHはk=2のとき80％以上のリcallを達成し、25以上のブロックを有する場合に95％以上の削減比を示し、従来の手法を上回る性能を発揮するが、最適なパフォーマンスを得るためにはチューニングが必要であることを示している。

ABSTRACT

Record linkage seeks to merge databases and to remove duplicates when unique identifiers are not available. Most approaches use blocking techniques to reduce the computational complexity associated with record linkage. We review traditional blocking techniques, which typically partition the records according to a set of field attributes, and consider two variants of a method known as locality sensitive hashing, sometimes referred to as "private blocking." We compare these approaches in terms of their recall, reduction ratio, and computational complexity. We evaluate these methods using different synthetic datafiles and conclude with a discussion of privacy-related issues.

研究の動機と目的

• 従来のブロッキング手法と、高度なLSHベースのブロッキング技術を用いたレコードリンクアップの評価と比較を行うこと。
• TLSHおよびKLSHのリcall、削減比、計算複雑性という観点から、そのパフォーマンスを評価すること。
• さまざまな複製率を有する合成データセット上でのLSHベースの手法のスケーラビリティと正確性を検討すること。
• 特にプライバシー保護型レコードリンクアップ（PPRL）の文脈において、LSHベースのブロッキングのプライバシー的影響を検討すること。
• 最適なリンクアップパフォーマンスを得るためのLSHパラメータ（例：k, b）のチューニングに関する実用的ガイダンスを提供すること。

提案手法

• 従来のブロッキングは、事前に定義された誤りのないフィールド（例：性別、生年）における一致に基づいてレコードをブロックに分割する。これらのフィールドが信頼できると仮定している。
• TLSHはコミュニティ検出にインspiredされたソフト推移的モデルを用い、類似したレコードをブロックにグループ化する。shinglingとbandingを用い、パラメータbを用いる。
• KLSHはベクトル空間表現とランダムプロジェクションを用い、類似したレコードをブロックにクラスタリングする。k-shinglingを用い、パラメータkを用いる。
• TLSHおよびKLSHは両方とも「プライベートブロッキング」として評価され、最終的なマッチング意思決定は計算的に高負荷なプライベート比較手法を用いてなされる。
• 性能評価には、複製率（10％、30％、50％）が変動する合成データセット（RLdata500、RLdata10000）を用い、正解ラベルを提供する。
• パフォーマンスはリcall、削減比（RR）、実測計算時間で測定され、最適な結果を得るためのkおよびbのチューニングが行われる。

実験結果

リサーチクエスチョン

• RQ1 TLSHおよびKLSHは、従来のブロッキング手法と比較して、リcallおよび削減比においてどのように異なるか？
• RQ2 パラメータ（k, b）のチューニングがTLSHおよびKLSHのパフォーマンスに与える影響は何か？
• RQ3 LSHベースの手法は、計算複雑性を著しく低減しつつ、高いリcallを維持できるか？
• RQ4 TLSHおよびKLSHはどれほどプライバシー保護型レコードリンクアップを支援できるか。また、その限界は何か？
• RQ5 KLSHのパフォーマンスは、置換回数（p）およびシングルサイズ（k）の変化にどのように影響を受けるか？

主な発見

• KLSHはk=2のとき80％以上のリcallを達成し、k=4では90％以上を記録する。RLdata10000データセットではk=5のとき最高のリcallが観察された。
• KLSHの削減比（RR）は、ブロック総数が25以上であると95％を超えることが確認され、強力なスケーラビリティを示している。
• TLSHはb=26のとき、すべてのシングルサイズで98％を超える高いRRを維持し、多くの従来手法を上回っている。
• KLSHおよびTLSHの両方とも、データセットサイズに対してほぼ2乗的にスケーリングされ、理論的な計算複雑性の予測と一致している。
• 両手法のパフォーマンスは、kおよびbのパラメータチューニングに極めて敏感であり、不適切な選択は低リcallを引き起こす。
• 「プライベートブロッキング」としてラベル付けされてはいるが、TLSHおよびKLSHの両方とも微分プライバシーの下で形式的なプライバシー保証を提供しておらず、k-匿名性も部分的にしか満たされていない。