[論文レビュー] Blocking Methods Applied to Casualty Records from the Syrian Conflict

Peter Sadosky, Anshumali Shrivastava+2 more|arXiv (Cornell University)|Oct 26, 2015

Data Quality and Management参考文献 22被引用数 9

ひとこと要約

本論文は、シリア紛争犠害データのレコードリンケージにおけるブロッキングを改善するため、ミニハッシュを用いた局所性に敏感なハッシュ（LSH）アプローチを提案している。これにより、ブロック間でのレコード分割が1%未塔に抑えられ、従来手法が20–60%の頻度でレコードを分割するのと比べて顕著に優れている。この手法により、30万件のレコードをわずか10分で高速かつスケーラブルに処理でき、高いリcallと削減比を維持するが、重複するブロックは複数システム推定における下流の不確実性評価に課題をもたらす。

ABSTRACT

Estimation of death counts and associated standard errors is of great importance in armed conflict such as the ongoing violence in Syria, as well as historical conflicts in Guatemala, Perú, Colombia, Timor Leste, and Kosovo. For example, statistical estimates of death counts were cited as important evidence in the trial of General Efraín Ríos Montt for acts of genocide in Guatemala. Estimation relies on both record linkage and multiple systems estimation. A key first step in this process is identifying ways to partition the records such that they are computationally manageable. This step is referred to as blocking and is a major challenge for the Syrian database since it is sparse in the number of duplicate records and feature poor in its attributes. As a consequence, we propose locality sensitive hashing (LSH) methods to overcome these challenges. We demonstrate the computational superiority and error rates of these methods by comparing our proposed approach with others in the literature. We conclude with a discussion of many challenges of merging LSH with record linkage to achieve an estimate of the number of uniquely documented deaths in the Syrian conflict.

研究の動機と目的

• スプライスで特徴が乏しいシリア紛争の犠害データベースにおいて、スケーラブルかつ正確なレコードリンケージを実現する課題に対処すること。
• 大規模な人権データにおける全対全比較の計算負荷を軽減するために、ブロッキング戦略を改善すること。
• レコード分割に起因する偽陰性を最小限に抑える一方で、高いリcallと削減比を維持するブロッキング手法を開発すること。
• 複数システム推定の基盤として、改善されたブロッキングを基盤に、独自に記録された死亡者数の信頼性ある推定を可能にすること。
• LSHに基づくブロッキングをベイジアンレコードリンケージおよび不確実性評価と統合する際の計算的・統計的課題を特定すること。

提案手法

• 著者は、シャインプドテキスト特徴（例：名前、日付、場所）に基づき、各犠害レコードに対してコンactで確率的なシグネチャを生成するため、ミニハッシュを用いた局所性に敏感なハッシュ（LSH）を適用する。
• ブロックサイズ、リcall、削減比を制御するために、LSHパラメータとしてL（ハッシュ関数の数）とK（シグネチャごとのハッシュ値の数）の組み合わせを用いる。
• リcallと削減比の最適化を図るため、L（100–1000を100刻みで）とK（15–35を3刻みで）のグリッドサーチを実施してパラメータチューニングを行う。
• ShrivastavaとLi（2014a,b）による最近の計算高速化技術を活用し、Java実装で30万件のレコードを10分未塔で処理する。
• 類似したレコード（シャインプのジャカード類似度に基づく）が同じブロックに属するようにブロックを生成し、ブロック間の分割を最小限に抑える。
• リcall、削減比（RR）、およびスプリットレートを指標として用い、LおよびKの異なる設定における結果を可視化して評価する。

実験結果

リサーチクエスチョン

• RQ1 スプライスでノイズが多い人権データにおいて、LSHベースのブロッキングは、従来のブロッキング手法と比較して、レコード分割を低減できるか？
• RQ2 LSHベースのブロッキングの性能（リcallと削減比）は、LおよびKパラメータの異なる組み合わせによってどのように変化するか？
• RQ3 LSHベースのブロッキングは、大規模な犠害データベース（例：30万件）を10分未塔で処理するのに十分な計算効率を有するか？
• RQ4 LSHによる重複するブロックは、下流のレコードリンケージおよび不確実性評価の正確性にどの程度悪影響を及えるか？
• RQ5 LSHベースのブロッキングを生成的ベイジアンレコードリンケージと統合する際の計算的・統計的課題は何か？

主な発見

• 提案されたLSHベースのブロッキング手法では、同じ人物を指すレコードが異なるブロックに分割される頻度が1%未塔に抑えられ、従来手法が20–60%を記録するのと比べ顕著に優れている。
• シャインプサイズ3を用いた場合、削減比（RR）が0.98、リcallが1.0に達し、次元削減が強く効いたほぼ完全な検索性能を示している。
• LSHアプローチを用いて30万件の犠害レコードを処理するには約10分で完了し、高い計算効率を実証した。
• リcallとRRの観点で最良のパフォーマンスは、シャインプサイズ2または3で達成され、より大きなシャインプサイズでは性能が低下する。
• 高いリcallと低いスプリットレートを達成しているものの、得られたブロックは重複しており、ベイジアンレコードリンケージおよび複数システム推定における正確な不確実性評価を複雑にしている。
• 著者らは、現在のベイジアンレコードリンケージ手法が重複するブロックでは計算的に非現実的であると特定し、スプリットアンドマージやワームホールサンプリングなどの新たなアルゴリズム的イノベーションによるスケーリングが求められると指摘している。