[논문 리뷰] How to reduce the search space of Entity Resolution: with Blocking or Nearest Neighbor search?

George Papadakis, Marco Fisichella외 4명|arXiv (Cornell University)|2022. 02. 25.

Data Quality and Management인용 수 4

한 줄 요약

이 논문은 실체 해석(ER)을 위한 블로킹 및 최근접 이웃(NN) 필터링 기법 간의 첫 번째 체계적 비교를 제시하며, 10개의 실세계 데이터셋에서 5개의 블로킹 워크플로우와 8개의 NN 방법을 평가한다. kNN-Join—카디널리티 임계값과 구문적 표현을 사용—는 효과성과 효율성의 최적 균형을 제공하며, FAISS는 근사 인덱싱 덕분에 가장 뛰어난 확장성을 보인다.

ABSTRACT

Entity Resolution suffers from quadratic time complexity. To increase its time efficiency, three kinds of filtering techniques are typically used for restricting its search space: (i) blocking workflows, which group together entity profiles with identical or similar signatures, (ii) string similarity join algorithms, which quickly detect entities more similar than a threshold, and (iii) nearest-neighbor methods, which convert every entity profile into a vector and quickly detect the closest entities according to the specified distance function. Numerous methods have been proposed for each type, but the literature lacks a comparative analysis of their relative performance. As we show in this work, this is a non-trivial task, due to the significant impact of configuration parameters on the performance of each filtering technique. We perform the first systematic experimental study that investigates the relative performance of the main methods per type over 10 real-world datasets. For each method, we consider a plethora of parameter configurations, optimizing it with respect to recall and precision. For each dataset, we consider both schema-agnostic and schema-based settings. The experimental results provide novel insights into the effectiveness and time efficiency of the considered techniques, demonstrating the superiority of blocking workflows and string similarity joins.

연구 동기 및 목표

• 실체 해석에서 블로킹 및 최근접 이웃 필터링 기법 간의 체계적 비교가 부족한 문제를 해결하기 위해.
• 스키마 무관 및 스키마 기반 설정에서 다양한 실세계 데이터셋을 대상으로 주요 필터링 기법의 상대적 성능을 평가하기 위해.
• 재확인된 재현율과 정밀도 목표를 충족시키기 위해 매개변수를 철저히 튜닝하여 각 기법의 최적 설정을 규명하기 위해.
• 대표 유형(구문적 대비 의미적), 임계값 유형(유사도 대비 카디널리티), 데이터 특성의 필터링 성능에 미치는 영향을 평가하기 위해.
• 실무자들이 ER 워크로드에 가장 효과적이고 확장 가능한 필터링 방법을 선택하는 데 실질적인 통찰을 제공하기 위해.

제안 방법

• 연구는 10개의 실세계 ER 데이터셋에서 5개의 블로킹 워크플로우(예: 표준 블로킹, Pos-Blocking 워크플로우)와 8개의 최근접 이웃 방법(예: kNN-Join, LSH 변종, FAISS, SCANN)을 평가한다.
• 각 방법은 각 데이터셋의 최적 성능을 보장하기 위해 수천 개의 매개변수 조합으로 튜닝되며, 재현율 및 정밀도 목표를 충족시키기 위해 수행된다.
• 두 가지 설정을 평가한다: 스키마 무관(전체 실체 프로파일을 긴 텍스트로 간주) 및 스키마 기반(가장 정보성 있는 속성에 집중)으로, 스키마 이질성에 대한 강건성 평가를 위해 수행된다.
• 필터링 성능는 재현율, 정밀도, 런타임 기준으로 측정되며, 확장성은 최대 200만 개 실체까지의 합성 데이터셋을 사용해 테스트된다.
• 카디널리티 기반 임계값(예: kNN-Join)을 유사도 기반 임계값(예: ε-join, LSH)과 비교하여 후보 집합 크기 및 효율성 간의 트레이드오프를 평가한다.
• 구문적 표현(예: TF-IDF, n-grams)을 밀도적 의미 임베딩(예: sentence-BERT)과 대조하여 필터링에 적합한지 평가한다.

실험 결과

연구 질문

• RQ1 다양한 ER 데이터셋에서 블로킹 또는 최근접 이웃 기법 중 어느 것이 가장 높은 재현율과 정밀도를 달성하는가?
• RQ2 카디널리티 기반 및 유사도 기반 임계값은 후보 집합 크기와 필터링 효율성 측면에서 어떻게 비교되는가?
• RQ3 실세계 ER 워크로드에서 구문적 표현 또는 의미적 표현을 사용할 경우 어떤 것이 더 나은 필터링 성능를 제공하는가?
• RQ4 스키마 무관 및 스키마 기반 설정은 필터링 기법의 효과성과 강건성에 어떤 영향을 미치는가?
• RQ5 대규모 데이터셋에서 효과성, 효율성, 확장성 간의 최적 균형을 제공하는 필터링 방법은 무엇인가?

주요 결과

• 카디널리티 임계값과 구문적 표현을 사용하는 kNN-Join은 재현율, 정밀도, 효율성의 최적 균형을 달성하여 모든 다른 방법보다 효과성에서 뛰어나다.
• FAISS는 가장 뛰어난 확장성을 보이며, 10,000개에서 200만 개의 실체로 확장할 때 런타임 증가가 약 700배에 불과하여 다른 방법보다 뚜렷하게 슈퍼리어하다.
• 카디널리티 기반 임계값(예: kNN-Join)은 유사도 기반 임계값(예: ε-join, LSH)보다 훨씬 적은 후보를 생성하며, 입력 크기의 제곱에 비해 선형적으로 증가한다.
• 구문적 표현은 의미 임베딩보다 일관되게 성능이 뛰어나며, 의미 모델은 어휘 외 또는 도메인 전용 용어로 인해 더 많은 가짜 양성 결과를 유발한다.
• 스키마 무관 설정은 기본 설정일 경우 스키마 기반 설정보다 재현율과 정밀도에서 뚜렷하게 뛰어나며, 누락되거나 잘못된 위치에 있는 값들을 더 잘 처리하기 때문이다.
• 표준 블로킹 워크플로우(SBW)의 기본 설정은 스키마 무관 설정에서 잘 작동하지만, kNN-Join는 선형 후보 증가 및 설정 용이성 덕분에 거의 모든 경우에서 이를 뛰어넘는다.