[論文レビュー] A Survey of Blocking and Filtering Techniques for Entity Resolution

George Papadakis, Dimitrios Skoutas+2 more|arXiv (Cornell University)|May 15, 2019

Data Quality and Management参考文献 192被引用数 14

ひとこと要約

本調査は、スケーラブルなエンティティレゾリューションのためのブロッキングおよびフィルタリング技術について包括的かつ統一的なレビューを提供し、共通の分類法を提示するとともに、2次関数的複雑性を低減するうえで相補的な役割を果たすことを強調している。ハイブリッド手法、スキーマに依存しない手法、ブロック処理、パrameterチューニングが主な進展と特定されており、自動設定や多様な大規模データソースへの対応という未解決の課題にも言及している。

ABSTRACT

Efficiency techniques are an integral part of Entity Resolution, since its infancy. In this survey, we organized the bulk of works in the field into Blocking, Filtering and hybrid techniques, facilitating their understanding and use. We also provided an in-dept coverage of each category, further classifying the corresponding works into novel sub-categories. Lately, the efficiency techniques have received more attention, due to the rise of Big Data. This includes large volumes of semi-structured data, which pose challenges not only to the scalability of efficiency techniques, but also to their core assumptions: the requirement of Blocking for schema knowledge and of Filtering for high similarity thresholds. The former led to the introduction of schema-agnostic Blocking in conjunction with Block Processing techniques, while the latter led to more relaxed criteria of similarity. Our survey covers these new fields in detail, putting in context all relevant works.

研究の動機と目的

• エンティティレゾリューションのための既存のブロッキングおよびフィルタリング技術を、共通のフレームワークの下で統一的かつ体系的に分類すること。
• 現代のエンティティレゾリューションパイプラインにおける、データ量と多様性（ボリュームとバリエーション）に起因するスケーラビリティの課題に対処すること。
• ブロッキングとフィルタリングの相補的性を強調し、それぞれの長所を組み合わせたハイブリッド手法の探求。
• 自動パrameter設定や低類似度閾値、準構造化データへの対応といった未解決の研究課題を特定すること。
• 構造化、準構造化、非構造化データのあらゆる効率化技術を統合できる拡張可能でオープンソースのERツールの推進を提言すること。

提案手法

• コアメカニズムと仮定に基づき、ブロッキング、フィルタリング、ブロック処理技術の正式な分類法を提案。
• スキーマに依存するブロッキングとスキーマに依存しないブロッキングに分類し、類似度ベース、集合ベース、スケッチベースのフィルタリング技術に分類。
• ブロッキングとマッチングの間の精錬ステップとしてのブロック処理を導入し、リコールの損失を最小限に抑えつつ精度を向上。
• 並列化戦略を両フレームワークについてレビューし、分散処理およびマルチコア実行モデルを含む。
• 遺伝的アルゴリズムと人間を介した学習によるパrameterチューニングを分析し、ラベル付きデータを用いてパフォーマンス最適化を実施。
• 時間対F-measureの2次元パフォーマンス指標空間を提案し、手法選定と構成最適化を支援。

実験結果

リサーチクエスチョン

• RQ1 ブロッキングおよびフィルタリング技術を、共通の用語とフレームワークの下で体系的に分類・統一することは可能か？
• RQ2 仮定、パフォーマンス、適用可能性の観点から、ブロッキングとフィルタリングの主な違いと相乗効果は何か？
• RQ3 スキーマに依存しないブロッキングおよびブロック処理技術は、データの多様性に対処するうえで、スケーラビリティと精度をどのように向上させるか？
• RQ4 類似度基準を緩めたり、低閾値を用いたフィルタリング技術は、実世界のエンティティレゾリューションにおいてどれほど高いリコールを達成できるか？
• RQ5 自動パrameter設定および効率的なエンティティレゾリューションのためのツール開発における今後の有望な研究方向性は何か？

主な発見

• ブロッキングとフィルタリングは相補的である：ブロッキングはマッチング閾値に依存せずに候補ペアを削減するが、フィルタリングは類似度閾値を用いて非マッチングペアを除外する。
• ブロック処理はリコール損失をほとんど許容しつつ、精度を顕著に向上させることができ、ブロッキングとマッチングの間の精錬層と見なせる。
• Canopy Clusteringのようなスキーマに依存しないブロッキング技術は、現在ではブロック処理手法として認識されており、効率的なERの適用範囲を拡大している。
• 遺伝的アルゴリズムによるパrameterチューニングと、パフォーマンスに基づく構成選択（時間-F-measure空間における(0,1)理想点を用いて）は、手法選定を改善するが、依然として計算コストが高いため、実用的でない。
• 進展は見られても、ブロッキングにおける自動的でデータ駆動型の事前パrameter設定は、未解決の問題のまま残っている。
• 文字列および集合類似度ジョインはスケーラビリティの課題を抱えており、低類似度領域における高リコールERの実現には、より緩いマッチング基準が求められる。