[논문 리뷰] A Survey of Blocking and Filtering Techniques for Entity Resolution

George Papadakis, Dimitrios Skoutas외 2명|arXiv (Cornell University)|2019. 05. 15.

Data Quality and Management참고 문헌 192인용 수 14

한 줄 요약

이 종합 검토는 확장 가능한 실체 해석을 위한 차단 및 필터링 기법에 대한 종합적이고 통합적인 리뷰를 제공하며, 공통의 분류 체계를 도입하고 이들의 상호보완적 역할을 통해 이차 복잡도를 줄이는 데 중점을 둡니다. 하이브리드 접근법, 스키마에 의존하지 않는 방법, 블록 처리, 파rameter 조정을 핵심 발전으로 규명하며, 자동 설정 및 이질적, 대용량 데이터 소스 지원과 같은 열린 과제를 강조합니다.

ABSTRACT

Efficiency techniques are an integral part of Entity Resolution, since its infancy. In this survey, we organized the bulk of works in the field into Blocking, Filtering and hybrid techniques, facilitating their understanding and use. We also provided an in-dept coverage of each category, further classifying the corresponding works into novel sub-categories. Lately, the efficiency techniques have received more attention, due to the rise of Big Data. This includes large volumes of semi-structured data, which pose challenges not only to the scalability of efficiency techniques, but also to their core assumptions: the requirement of Blocking for schema knowledge and of Filtering for high similarity thresholds. The former led to the introduction of schema-agnostic Blocking in conjunction with Block Processing techniques, while the latter led to more relaxed criteria of similarity. Our survey covers these new fields in detail, putting in context all relevant works.

연구 동기 및 목표

• 차단 및 필터링 기법을 통합하고 공통 프레임워크 하에 체계적으로 분류하기 위해.
• 현대 실체 해석 파이프라인에서 대용량, 이질적 데이터(용량과 다양성)가 초래하는 확장성 문제를 해결하기 위해.
• 차단 및 필터링의 상호보완적 성격을 부각하고, 그 강점을 조합하는 하이브리드 접근법을 탐색하기 위해.
• 자동 파rameter 설정 및 저유사도 임계값, 준구조적 데이터 지원과 같은 열린 연구 문제를 규명하기 위해.
• 구조적, 준구조적, 비구조적 데이터 전반에 걸쳐 다양한 효율 기법을 통합하는 확장 가능하고 오픈소스 실체 해석 도구의 도입을 촉진하기 위해.

제안 방법

• 핵심 메커니즘과 가정에 기반해 차단, 필터링, 블록 처리 기법에 대한 공식적 분류 체계를 제안합니다.
• 스키마에 의존하는 차단과 스키마에 의존하지 않는 차단으로 분류하고, 일치 기반, 집합 기반, 스케치 기반 필터링 기법으로 나눕니다.
• 차단과 매칭 사이의 보완 단계로 블록 처리를 도입하여 정밀도를 향상시키고 재현율 손실을 최소화합니다.
• 분산 및 다중 코어 실행 모델을 포함한 프레임워크의 병렬 처리 전략을 검토합니다.
• 유사도 기반 파rameter 조정을 위해 유전 알고리즘과 인간-중개 학습을 분석하고, 레이블이 부여된 데이터를 사용해 성능 최적화를 수행합니다.
• 시간 대 F-측정치 공간의 이원적 성능 지표 체계를 제안하여 방법 선택 및 파arameter 최적화를 안내합니다.

실험 결과

연구 질문

• RQ1 차단 및 필터링 기법은 어떻게 공통 용어와 프레임워크 하에 체계적으로 분류되고 통합될 수 있는가?
• RQ2 가정, 성능, 적용 가능성 측면에서 차단과 필터링 간의 주요 차이점과 상호보완적 상호작용은 무엇인가?
• RQ3 스키마에 의존하지 않는 차단 및 블록 처리 기법은 데이터 이질성에 대비해 확장성과 정밀도를 어떻게 향상시키는가?
• RQ4 유사도 기준이 느슨하거나 낮은 임계값을 가진 필터링 기법은 실제 실체 해석에서 높은 재현율을 달성할 수 있는가?
• RQ5 자동 파arameter 설정 및 효율적인 실체 해석을 위한 도구 개발 분야에서 가장 유망한 향후 연구 방향은 무엇인가?

주요 결과

• 차단과 필터링은 상호보완적이다: 차단은 매칭 임계값에 의존하지 않고 후보 쌍을 줄이며, 필터링은 일치하지 않는 쌍을 제거하기 위해 일치 임계값을 사용한다.
• 블록 처리 기법은 재현율 손실이 극히 미미한 상태에서 정밀도를 크게 향상시키며, 차단과 매칭 사이의 보완 레이어로 볼 수 있다.
• 스키마에 의존하지 않는 차단 기법, 예를 들어 캐노피 클러스터링은 이제 블록 처리 기법으로 간주되며, 효율적인 실체 해석의 범위를 확장한다.
• 유전 알고리즘을 통한 파arameter 조정 및 성능 기반의 구성 선택(시간-F-측정치 공간 내 (0,1) 이상의 점을 기반으로)은 방법 선택을 향상시키지만 여전히 계산 비용이 높다.
• 진전이 있었음에도 불구하고, 차단에 대한 자동, 데이터 기반, 사전 파arameter 설정 문제는 여전히 열려 있다.
• 문자열 및 집합 유사도 조인은 확장성 문제를 겪으며, 저유사도 영역에서 높은 재현율을 달성하기 위해 더 유연한 매칭 기준이 필요로 한다.