[논문 리뷰] End-to-End Entity Resolution for Big Data: A Survey

Vassilis Christophides, Vasilis Efthymiou외 3명|arXiv (Cornell University)|2019. 05. 15.

Data Quality and Management참고 문헌 238인용 수 38

한 줄 요약

이 논문은 빅데이터를 위한 엔티티 해상도 엔드투엔드 워크플로를 조사하며, 차단, 차단 처리, 매칭 및 클러스터링을 자세히 설명하고, 스키마 비의존적이고 대용량, 이질적인 데이터에 대해 예산 인지 및 점진적 접근법을 논의한다.

ABSTRACT

One of the most important tasks for improving data quality and the reliability of data analytics results is Entity Resolution (ER). ER aims to identify different descriptions that refer to the same real-world entity, and remains a challenging problem. While previous works have studied specific aspects of ER (and mostly in traditional settings), in this survey, we provide for the first time an end-to-end view of modern ER workflows, and of the novel aspects of entity indexing and matching methods in order to cope with more than one of the Big Data characteristics simultaneously. We present the basic concepts, processing steps and execution strategies that have been proposed by different communities, i.e., database, semantic Web and machine learning, in order to cope with the loose structuredness, extreme diversity, high speed and large scale of entity descriptions used by real-world applications. Finally, we provide a synthetic discussion of the existing approaches, and conclude with a detailed presentation of open research directions.

연구 동기 및 목표

• 동일한 실제 엔티티를 가리키는 설명을 식별하고 연결함으로써 빅데이터에서 데이터 품질 향상을 촉진한다.
• 대용량, 고속, 다양성 하에서 Blocking에서 Clustering까지 ER 워크플로의 엔드투엔드 관점을 제공한다.
• 반구조화된 데이터 및 이질적 데이터에 대한 기존의 차단, 매칭 및 클러스터링 방법과 이들의 적용 가능성을 비판적으로 검토한다.
• 예산 인지, 점진적, 크라우드소싱 및 딥러닝 기반 ER 접근법을 논의하고 해결해야 할 연구 방향을 제시한다.

제안 방법

• 엔드투엔드 ER 워크플로 컴포넌트를 설명한다: Blocking (Indexing), Block Processing, Matching, 및 Clustering.
• 레이블의 모음(bag-of-literals)과 블록 간 중복성을 활용하는 스키마 비의존 차단을 논의한다.
• 중복되거나 불필요한 비교를 줄이기 위한 Block Processing 기법을 제시한다.
• 유사도 기반 의사결정 함수로서의 Matching을 설명하며, 반복적(iterative) 및 집단적(그래프 기반) 접근법을 포함한다.
• 실제 엔티티에 해당하는 설명의 상호 배타적 그룹을 형성하기 위한 Clustering을 설명한다.
• 예산 인지 ER을 계획 및 업데이트 단계와 점진적/스트리밍 ER 고려사항과 함께 소개한다.
• 빅데이터 맥락에서의 엔드투엔드 ER를 위한 시스템 차원 및 방법론적 측면을 개략한다.

실험 결과

연구 질문

• RQ1 볼륨(Volume), 속도(Velocity), 다양성(Vary)를 다루는 빅데이터용 효과적인 엔드투엔드 ER 워크플로는 무엇인가?
• RQ2 헤테로지니어스한 설명들을 다루기 위해 차단, 차단 처리, 매칭을 스키마 비의존적인 방식으로 어떻게 설계할 수 있는가?
• RQ3 클러스터링은 매칭 결과를 어떻게 일관되게 병합하여 최종 엔티티 그룹을 형성할 수 있으며, 집단적 및 반복적 방법을 포함하는가?
• RQ4 예산 인지(비용 제약) 및 점진적/실시간 시나리오에 대해 ER 워크플로를 어떻게 조정해야 하는가?
• RQ5 빅데이터 엔드투엔드 ER의 미해결 연구 방향과 실질적인 시스템은 무엇인가?

주요 결과

• 반구조화 데이터에 대한 차단 방법은 스키마 비의존적 접근으로 높은 재현율을 달성할 수 있지만, 중복 및 불필요한 비교로 인해 정밀도가 낮아지는 경향이 있다.
• Block Processing 기법은 재현율을 유지하면서 중복되거나 매칭되지 않는 비교를 제거해 정밀도를 효과적으로 높인다.
• 메타 차단(Meta-blocking)은 차단 그래프의 간선에 가중치를 부여하고 가지치기하는 프레임워크를 제공하여 불필요한 비교를 줄인다.
• 예산 인지 ER은 계획 및 업데이트 단계를 도입하고 예산 제약 내에서 일치 항목을 최대화하기 위해 윈도우에서 작동한다.
• 점진적 및 실시간 ER 접근은 도착하는 데이터를 처리하기 위해 동적 인덱싱, 스트리밍 호환 매칭, 점진적 클러스터링이 필요하다.
• 본 고찰은 엔드투엔드 ER 워크플로를 종합하고 빅데이터를 위한 차단, 처리, 매칭, 클러스터링 및 시스템 설계 전반의 미해결 방향을 강조한다.