[論文レビュー] How to reduce the search space of Entity Resolution: with Blocking or Nearest Neighbor search?

George Papadakis, Marco Fisichella+4 more|arXiv (Cornell University)|Feb 25, 2022

Data Quality and Management被引用数 4

ひとこと要約

本論文は、エンティティレゾリューションにおけるブロッキング手法と最近傍（NN）フィルタリング手法の、初めての体系的比較を提示する。10の実世界データセットを対象に、5つのブロッキングワークフローと8つのNN手法を評価した。kNN-Join—カーディナリティ閾値と表記的表現を用いる—が、有効性と効率性のバランスが最も優れており、FAISSは近似インデキシングのおかげで最もスケーラブルであることが判明した。

ABSTRACT

Entity Resolution suffers from quadratic time complexity. To increase its time efficiency, three kinds of filtering techniques are typically used for restricting its search space: (i) blocking workflows, which group together entity profiles with identical or similar signatures, (ii) string similarity join algorithms, which quickly detect entities more similar than a threshold, and (iii) nearest-neighbor methods, which convert every entity profile into a vector and quickly detect the closest entities according to the specified distance function. Numerous methods have been proposed for each type, but the literature lacks a comparative analysis of their relative performance. As we show in this work, this is a non-trivial task, due to the significant impact of configuration parameters on the performance of each filtering technique. We perform the first systematic experimental study that investigates the relative performance of the main methods per type over 10 real-world datasets. For each method, we consider a plethora of parameter configurations, optimizing it with respect to recall and precision. For each dataset, we consider both schema-agnostic and schema-based settings. The experimental results provide novel insights into the effectiveness and time efficiency of the considered techniques, demonstrating the superiority of blocking workflows and string similarity joins.

研究の動機と目的

• エンティティレゾリューションにおけるブロッキング手法と最近傍フィルタリング手法の間の体系的比較が不足しているという問題に取り組む。
• スキーマに依存しない設定とスキーマに基づく設定の両方で、多様な実世界データセットにおける主要なフィルタリング手法の相対的性能を評価する。
• 再現性のある再現性を確保するため、再帰的なパラメータチューニングにより、各手法の最適な設定を同定する。
• 表現タイプ（表記的 vs. 意味的）、閾値タイプ（類似度 vs. カーディナリティ）、およびデータ特性がフィルタリング性能に与える影響を評価する。
• 実務家がERワークロードに最適な効果的かつスケーラブルなフィルタリング手法を選択するための実用的知見を提供する。

提案手法

• 本研究では、10の実世界ERデータセットを対象に、5つのブロッキングワークフロー（例：スタンダードブロッキング、Pos-Blockingワークフロー）と8つの最近傍手法（例：kNN-Join、LSHの変種、FAISS、SCANN）を評価した。
• 各手法は、各データセットの再現率と適合率の目標を満たすよう、数千のパラメータ設定でチューニングされ、公平な比較が保証された。
• 2つの設定が評価された：スキーマに依存しない（エンティティプロファイル全体を長文として扱う）とスキーマに基づく（最も情報量の多い属性に焦点を当てる）ことで、スキーマの多様性に対する耐性を評価した。
• フィルタリング性能は再現率、適合率、実行時間の観点で測定され、スケーラビリティは最大200万エンティティの合成データセットを用いてテストされた。
• カーディナリティベースの閾値（例：kNN-Join）と類似度ベースの閾値（例：ε-join、LSH）を比較し、候補セットのサイズと効率性のトレードオフを評価した。
• 表記的表現（例：TF-IDF、n-gram）と密度的な意味的埋め込み（例：sentence-BERT）を対比させ、フィルタリングに適した表現タイプを評価した。

実験結果

リサーチクエスチョン

• RQ1 ブロッキング手法と最近傍手法のどちらが、多様なERデータセットにおいて最高の再現率と適合率を達成するか？
• RQ2 カーディナリティベースの閾値と類似度ベースの閾値は、候補セットのサイズとフィルタリング効率の観点でどのように比較されるか？
• RQ3 表記的表現か意味的表現のどちらが、実世界のERワークロードにおいてより優れたフィルタリング性能を発揮するか？
• RQ4 スキーマに依存しない設定とスキーマに基づく設定は、フィルタリング手法の有効性と耐性にどのように影響を与えるか？
• RQ5 大規模データセットにおいて、有効性、効率性、スケーラビリティのバランスが最も優れたフィルタリング手法はどれか？

主な発見

• カーディナリティ閾値と表記的表現を用いるkNN-Joinは、再現率、適合率、効率性のバランスが最も優れており、他のすべての手法を有効性の観点で上回った。
• FAISSは最もスケーラブルなフィルタリング手法であり、エンティティ数を10,000から200万に増加させた際の実行時間の増加がわずか約700倍に抑えられ、他の手法を大きく上回った。
• カーディナリティベースの閾値（例：kNN-Join）は、類似度ベースの閾値（例：ε-join、LSH）と比較して、はるかに少ない候補を生成し、入力サイズに比例して二次的ではなく、クエリサイズに比例して線形にスケーリングされた。
• 表記的表現は意味的埋め込みよりも一貫して優れた性能を示した。意味的モデルは、未知語やドメイン固有語の影響で偽陽性が増加するためである。
• スキーマに依存しない設定は、特にデフォルト設定の下で、スキーマに基づく設定よりも再現率と適合率が顕著に優れていた。これは、欠損値や誤位置の値をより適切に処理できることに起因する。
• スタンダードブロッキングワークフロー（SBW）のデフォルト設定は、スキーマに依存しない設定では良好な性能を示したが、kNN-Joinは線形な候補数増加と設定のしやすさのおかげで、ほぼすべてのケースでそれを上回った。