[논문 리뷰] MinoanER: Schema-Agnostic, Non-Iterative, Massively Parallel Resolution of Web Entities

Vasilis Efthymiou, George Papadakis외 2명|arXiv (Cornell University)|2019. 05. 15.

Data Quality and Management인용 수 4

한 줄 요약

MinoanER는 웹 오브 데이터를 위한 스키마에 종속되지 않고 반복하지 않으며 대량 병렬 처리가 가능한 엔티티 해석 프레임워크로, 토큰 기반 유사도와 이웃 증거를 디시وج티브 블로킹 그래프를 통해 사용하여 매우 이질적인 엔티티를 해결한다. 이는 스케일이 가능하고 반복하지 않는 매칭 프로세스에서 콘텐츠, 이름, 이웃 유사도를 효과적으로 통합함으로써 최신 기술 수준의 도구를 뛰어넘는 성능을 발휘하며, 네 가지 강력하고 설정에 민감하지 않은 규칙을 사용한다.

ABSTRACT

Entity Resolution (ER) aims to identify different descriptions in various Knowledge Bases (KBs) that refer to the same entity. ER is challenged by the Variety, Volume and Veracity of entity descriptions published in the Web of Data. To address them, we propose the MinoanER framework that simultaneously fulfills full automation, support of highly heterogeneous entities, and massive parallelization of the ER process. MinoanER leverages a token-based similarity of entities to define a new metric that derives the similarity of neighboring entities from the most important relations, as they are indicated only by statistics. A composite blocking method is employed to capture different sources of matching evidence from the content, neighbors, or names of entities. The search space of candidate pairs for comparison is compactly abstracted by a novel disjunctive blocking graph and processed by a non-iterative, massively parallel matching algorithm that consists of four generic, schema-agnostic matching rules that are quite robust with respect to their internal configuration. We demonstrate that the effectiveness of MinoanER is comparable to existing ER tools over real KBs exhibiting low Variety, but it outperforms them significantly when matching KBs with high Variety.

연구 동기 및 목표

• 기존의 엔티티 해석(ER) 방법의 성능 저하를 초래하는 웹 오브 데이터에서의 높은 데이터 다양성(Variety), 볼륨(Volume), 신뢰성(Veracity) 문제를 해결한다.
• 스키마에 종속된 유사도 측정 방법의 한계를 극복하기 위해 스키마에 종속되지 않고 토큰 기반의 유사도 측정 지표를 도입한다.
• 수렴 문제를 피하고 대량 병렬 처리를 지원하는 스케일이 가능한 반복하지 않는 엔티티 해석을 가능하게 한다.
• 이질적인 지식 기반(KB)에서 흔히 발생하는 거의 유사한 엔티티의 해결을 향상시키기 위해 이웃 유사도 증거를 통합한다.
• 감독 학습이 필요 없이 콘텐츠, 이름, 이웃 유사도 등의 다수의 매칭 증거를 통합하는 복합 블로킹 메커니즘을 개발한다.

제안 방법

• 스키마나 속성 이름에 영향을 받지 않고, 비정형 토큰 기반의 유사도(예: 자카드 유사도)를 사용하여 엔티티 설명 간의 값 유사도를 계산한다.
• 공동 등장 빈도를 통해 관계의 통계적 중요도를 기반으로 한 새로운 이웃 유사도 측정 지표를 정의하여 엔티티 간의 핵심 연결 관계를 식별한다.
• 공통 토큰(값 내에서), 공통 이름(rdfs:label 등), 유사한 이웃을 포함한 다수의 소스로부터 후보 매칭을 추상화하는 디시وج티브 블로킹 그래프를 구축한다.
• 라벨이 없는 데이터를 요구하지 않고도 낮은 가중치 간선을 제거하기 위해 스키마에 종속되지 않은 가중치 기반의 정제 전략을 적용하여 거짓 양성(false positive)을 줄인다.
• 정제된 그래프 위에서 작동하는 반복하지 않는 네 가지 규칙 기반 매칭 알고리즘(R1–R4)을 구현한다: R1(값 매칭), R2(이름 매칭), R3(이웃 매칭), R4(통합 증거), 모두 선형 시간 복잡도를 가진다.
• Apache Spark를 사용하여 전체 파이프라인의 대량 병렬 처리를 지원하며, CPU 코어 간 자원 균형을 유지하기 위해 동적 작업 할당을 수행한다.

실험 결과

연구 질문

• RQ1 글로벌 스키마나 반복적 개선에 의존하지 않고 스키마에 종속되지 않고 반복하지 않는 ER 프레임워크가 웹 오브 데이터에서 매우 이질적인 엔티티를 효과적으로 해결할 수 있는가?
• RQ2 값 기반 유사도가 약한 경우, 이웃 유사도는 거의 유사한 엔티티를 해결하는 데 보조 신호로서 얼마나 효과적인가?
• RQ3 감독 학습 없이도 콘텐츠, 이름, 이웃 유사도를 통합하는 복합 블로킹 메커니즘이 효율적으로 추상화되고 정제될 수 있는가?
• RQ4 MinoanER의 반복하지 않는 설계는 반복적 ER 프레임워크에 비해 확장성과 수렴성 측면에서 얼마나 향상되는가?
• RQ5 특히 고다양성 지식 기반(KB)에서 MinoanER의 성능은 다양한 데이터 볼륨과 이질성 수준에서 어떻게 확장되는가?

주요 결과

• MinoanER는 저다양성 지식 기반(예: Restaurant, Rexa-DBLP)에서는 최신 기술 수준의 도구와 유사한 성능을 보였지만, 고다양성 데이터셋에서는 뚜렷이 뛰어난 성능을 발휘한다.
• BBCmusic-DBpedia에서 이웃 유사도는 라벨 없이 이웃 증거를 사용하지 않은 베이스라인 대비 정밀도를 2.22% 향상시키고 재현율을 3.19% 향상시켰다.
• YAGO-IMDb에서는 이웃 유사도가 정밀도를 2.97% 향상시키고 재현율을 3.15% 향상시켜 거의 유사한 엔티티를 해결하는 데 핵심적인 역할을 했다.
• MinoanER의 매칭 단계는 총 실행 시간의 20–45%에 불과하여, 블로킹 및 사전 처리 단계가 효율적이고 확장 가능함을 시사한다.
• Rexa-DBLP에서 12코어 대비 1코어 사용 시 MinoanER은 10배의 속도 향상을 기록했으며, Spark의 작업 스케줄링 덕분에 모든 데이터셋에서 비선형이지만 효율적인 속도 향상을 보였다.
• Rexa-DBLP의 경우 MinoanER는 3.5분에 실행되었고, PARIS는 11분이 소요되었으며, YAGO-IMDb에서는 MinoanER가 28분이 걸렸고, PARIS는 51시간, SiGMa는 70분이 소요되어 뛰어난 효율성을 입증했다.