[論文レビュー] Application of Advanced Record Linkage Techniques for Complex Population Reconstruction

Peter Christen|arXiv (Cornell University)|Dec 13, 2016

Data Quality and Management参考文献 3被引用数 5

ひとこと要約

本稿は、出生、死亡、婚姻、人口動態記録から歴史的人口を再構築するため、個人、グループ、関係性のレコードリンク手法を時系列的および役割ベースの制約と統合する新規手法を提案する。高度な手法を用いても、リンク品質は限定的であり、主要なペアでAUC-PR値が0.5未満にとどまっている。これは、属性類似度が低く、データ品質に問題が多い複雑な個人データをリンクする上で根本的な課題が存在することを示している。

ABSTRACT

Record linkage is the process of identifying records that refer to the same entities from several databases. This process is challenging because commonly no unique entity identifiers are available. Linkage therefore has to rely on partially identifying attributes, such as names and addresses of people. Recent years have seen the development of novel techniques for linking data from diverse application areas, where a major focus has been on linking complex data that contain records about different types of entities. Advanced approaches that exploit both the similarities between record attributes as well as the relationships between entities to identify clusters of matching records have been developed. In this application paper we study the novel problem where rather than different types of entities we have databases where the same entity can have different roles, and where these roles change over time. We specifically develop novel techniques for linking historical birth, death, marriage and census records with the aim to reconstruct the population covered by these records over a period of several decades. Our experimental evaluation on real Scottish data shows that even with advanced linkage techniques that consider group, relationship, and temporal aspects it is challenging to achieve high quality linkage from such complex data.

研究の動機と目的

• 一意の識別子を欠いた多様な個人記録から、複雑な歴史的人口を再構築する課題に対処すること。
• 特に関係性リンクとグループリンクを含む高度なリンク手法が、属性類似度が低くノイズの多い個人データにおいて、従来のペアワイズ手法を上回る精度を達成できるかどうかを調査すること。
• 時系列的制約、役割ベースの関係性、およびデータ品質要因（例：名前の表記揺れ、欠損値）がリンク性能に与える影響を評価すること。
• 文献データのリンク手法が、歴史的記録からの感受性の高い複雑な個人データに適用された場合に、既存の手法にどのような限界が生じるかを特定すること。
• 1対1および1対多の制約を統合したスケーラブルで多層的なリンクフレームワークを構築・テストすること。

提案手法

• 出生、死亡、婚姻、人口動態証明書の間でマッチングを同定するために、ペアワイズ、グループ、関係性リンク手法を統合する。
• 関係性類似度にはジャカード係数を用い、クラスターレベルの一貫性を評価するために複数のグループ類似度測定法（例：ジャカード、コサイン）を用いる。
• 論理的整合性（例：同じ家族内での新婦は乳児より年上でなければならない）を保つために時系列的制約を組み込み、1対1／1対多の役割ベースの制約を適用する。
• 個々の、グループの、関係性のリンク結果をアンサンブル戦略で統合し、全体の正確性と再現率を向上させる。
• 欠損属性値を除外するか含めるか、重み付きと非重み付きの属性類似度を用いるか、時系列フィルタリング（例：婚姻に最も近い人口動態調査）を用いるかの影響を評価する。
• 手動で専門家がリンクした結果を基準として、AUC-PRとF1スコアを異なるリンクバリアントで評価するハイブリッドアプローチを採用する。

実験結果

リサーチクエスチョン

• RQ1 関係性やグループ構造を活用する高度なレコードリンク手法が、従来のペアワイズ手法と比較して、複雑な個人データのリンク品質を顕著に向上させられるか？
• RQ2 時系列的制約と役割ベースの関係性（例：親子、新婦と親）は、歴史的記録からの人口再構築の精度にどのように影響するか？
• RQ3 名前の表記揺れ、転記エラー、欠損値などのデータ品質上の問題が、自動リンクシステムの性能にどの程度制限を及えるか？
• RQ4 文献データで効果を示す最先端のリンク手法が、個人記録からの歴史的人口再構築において高精度を達成できないのはなぜか？
• RQ5 個々の、関係性の、グループのリンク結果を統合することで、単一の手法よりも優れたパフォーマンスが得られるか？

主な発見

• ペアワイズリンクのみでは性能が低く、人口動態記録同士のペアでAUC-PR値が約0.4にとどまっている。これは、属性類似度だけでは正確なマッチングが不十分であることを示している。
• ジャカード係数を用いた関係性リンクが、より複雑な関係性類似度手法を上回り、すべての記録ペアで最良の結果を達成した。
• グループリンクでは、特定の類似度測定法に顕著な優位性は認められず、現在のグループ類似度関数がこのデータタイプには最適でない可能性を示唆している。
• 欠損属性値を含めることでリンク品質がわずかに向上するが、属性の重み付けは顕著な向上をもたらさなかった。
• 人口動態記録のリンクを最も近い時系列の人口動態記録に限定することでリンク性能が向上した。これは、時系列的近接性が有用なヒューリスティックであることを示している。
• 1対1および1対多の制約を適用することでグループリンクの品質が顕著に向上したが、関係性リンクには効果が認められず、制約モデリングがグループ文脈においてより効果的である可能性を示している。