[論文レビュー] Unique Entity Estimation with Application to the Syrian Conflict

Beidi Chen, Anshumali Shrivastava+1 more|arXiv (Cornell University)|Oct 7, 2017

Data Quality and Management参考文献 22被引用数 5

ひとこと要約

この論文は、局所性に敏感なハッシュ（LSH）を用いて、ノイズが多く重複が多発するデータセットにおける一意な個人の数を推定する近線形時間の推定アルゴリズムを提案する。具体的には、シリア紛争における死亡者数に応用された。この手法は、偏りのない推定を提供し、証明可能な低い分散を示し、191,874 ± 1,772 という結果を得ており、HRDAGのベンチマーク値 191,369 に非常に近い。

ABSTRACT

Entity resolution identifies and removes duplicate entities in large, noisy databases and has grown in both usage and new developments as a result of increased data availability. Nevertheless, entity resolution has tradeoffs regarding assumptions of the data generation process, error rates, and computational scalability that make it a difficult task for real applications. In this paper, we focus on a related problem of unique entity estimation, which is the task of estimating the unique number of entities and associated standard errors in a data set with duplicate entities. Unique entity estimation shares many fundamental challenges of entity resolution, namely, that the computational cost of all-to-all entity comparisons is intractable for large databases. To circumvent this computational barrier, we propose an efficient (near-linear time) estimation algorithm based on locality sensitive hashing. Our estimator, under realistic assumptions, is unbiased and has provably low variance compared to existing random sampling based approaches. In addition, we empirically show its superiority over the state-of-the-art estimators on three real applications. The motivation for our work is to derive an accurate estimate of the documented, identifiable deaths in the ongoing Syrian conflict. Our methodology, when applied to the Syrian data set, provides an estimate of $191,874 \pm 1772$ documented, identifiable deaths, which is very close to the Human Rights Data Analysis Group (HRDAG) estimate of 191,369. Our work provides an example of challenges and efforts involved in solving a real, noisy challenging problem where modeling assumptions may not hold.

研究の動機と目的

• 広範なデータの重複があるにもかかわらず、シリア紛争で記録された一意で識別可能な犠牲者の数を推定すること。
• 完全なペアワイズ比較の O(M²) のコストを回避する計算効率の良い推定器を開発すること。
• 過誤のない推定と標準誤差の定量的評価を提供することで、移行的正義における統計的厳密性を確保すること。
• 特に、現実の紛争データに見られる高いノイズと欠損値を踏まえ、強いモデリング仮定に依存しないこと。
• 実世界のデータセット、特にシリア紛争データを用いた、既存のサンプリングベースおよび解決ベースの推定器と比較して、本手法の優位性を示すこと。

提案手法

• 完全なペアワイズ比較を回避するために、局所性に敏感なハッシュ（LSH）を用いて効率的にサンプリングし、一意なエンティティを推定する。
• LSH衝突の頻度に基づいて一意なエンティティ数を推定するための三段階のサンプリングスキーム（n₁*, n₂*, n₃*）を採用する。
• サンプリングされたレコード間の衝突パターンに関するインジケータ変数の重み付き和を用いて、一意なエンティティ数の線形推定器を導出する。
• 現実的な仮定の下で推定器が不偏であることを証明し、確率論と共分散分解を用いてその分散を導出する。
• サンプリング確率 p の増加に伴い、分散が単調に減少することを確立し、より多くのデータが使用されるほど精度が向上することを保証する。
• 複数の情報源からの記録を活用して、シリア紛争データセットに本手法を適用し、LSHを用いて一意な個人を推定する。

実験結果

リサーチクエスチョン

• RQ1 データサイズにほぼ線形にスケーリングするが、統計的厳密性と低い分散を維持できる一意なエンティティ推定器を開発できるか？
• RQ2 提案されたLSHベースの推定器は、既存のランダムサンプリングおよびエンティティ解決手法と比較して、正確性と計算コストの面でどのように差をつけるか？
• RQ3 高いノイズと欠損値を伴う現実的なデータ条件の下で、推定器の統計的性能（バイアスと分散）はいかほどか？
• RQ4 移行的正義や国際的責任の文脈のような高リスクの応用において、推定器が信頼できる標準誤差を提供できるか？
• RQ5 モデリング仮定が成り立たない可能性のある実世界の紛争データにおいて、本手法はどの程度の性能を示すか？

主な発見

• 提案された推定器は、二次時間のエンティティ解決手法と比較して、著しく計算コストを削減する近線形時間の計算量を達成している。
• 現実的な仮定の下で推定器が証明可能な不偏性を示し、既存のサンプリングベースのアプローチを上回る低い分散を示している。
• シリア紛争データセットでは、本手法は191,874名の一意な記録済み死亡者を推定し、標準誤差は ±1,772 であった。
• これはHRDAGのベンチマーク推定値191,369に505人以内の誤差で近づいており、高い正確性を示している。
• 推定器の分散は、サンプリング確率 p の増加に伴い単調に減少し、より多くのデータが使用されるほど精度が向上することが確認された。
• 実証的評価により、3つの実世界の応用、特にシリア紛争データにおいて、最先端の推定器を上回る優れた性能を示した。