[논문 리뷰] Entity Consolidation: The Golden Record Problem.

Dong Deng, Wenbo Tao외 7명|arXiv (Cornell University)|2017. 09. 29.

Data Quality and Management인용 수 3

한 줄 요약

이 논문은 클러스터에서 일치 규칙을 추출하고, 이를 인간 검토를 위해 그룹화하며, 갈등을 해결하기 위해 진리 발견 기법을 적용함으로써 홀든 레코드 생성을 자동화하는 확장 가능한 엔티티 통합 알고리즘을 제안한다. 100개의 규칙 그룹만 검증함으로써 98%의 정밀도와 75%의 재현율을 달성하였으며, 다수결 공의와 조합하여 홀든 레코드의 정밀도를 40% 향상시켰다.

ABSTRACT

Four key processes in data integration are: data preparation (i.e., extracting, transforming, and cleaning data), schema integration (i.e., identifying attribute correspondences), entity resolution (i.e., finding clusters of records that represent the same entity) and entity consolidation (i.e., merging each cluster into a 'golden record', which contains the canonical value for each attribute). In real-world scenarios, Master Data Management (MDM) is often employed to perform the last two steps using a 'match-merge' module, which is driven by a collection of user-written match and merge rules. However, it is well understood that such solutions often fail to scale to the sizes and complexity of problems currently being addressed. Scalable solutions to entity resolution have been previously developed to generate a collection of clusters of records representing the same entity. In this paper, we propose a scalable entity consolidation algorithm to merge these clusters into 'golden records'. We first automatically generate matching rules from the clusters and then group these rules into sets with common characteristics to cut down on the number which must be verified by a human. Next, for the human-approved rule groups, we apply them to merge the duplicate attribute values in the clusters. Finally, we employ existing truth discovery methods, such as majority consensus (MC), to resolve remaining conflicts in the clusters. We applied our methods on three real-world datasets. In a dataset with 31,023 clusters and 80,451 duplicate records, 72,239 matching rules were generated. By having a human con rm only 100 algorithm-generated rule groups, we achieved a recall of 75% and a precision of 98% for merging duplicate attribute values. When we invoked our algorithm prior to running MC, we improved the precision of golden record construction by 40%.

연구 동기 및 목표

• 엔티티 통합을 위한 기존의 매칭-병합 모듈이 마스터 데이터 관리(MDM)에서 확장성에 한계를 가진다는 문제를 해결하기 위해.
• 공통된 특성을 기반으로 자동 생성된 일치 규칙을 그룹화하여 인간 검증에 소요되는 노력을 줄이기 위해.
• 자동화된 규칙 적용과 진리 발견 기법을 통합하여 홀든 레코드 구축의 정확도를 향상시키기 위해.
• 대규모 중복 레코드를 포함한 실제 데이터셋에서 제안된 방법의 효과성을 평가하기 위해.

제안 방법

• 31,023개의 클러스터에서 80,451개의 중복 레코드를 포함하여 실제 데이터셋에서 72,239개의 일치 규칙을 자동으로 생성한다.
• 공통된 특성을 기반으로 생성된 규칙을 집합으로 묶어 인간 검증이 필요한 수를 줄인다.
• 인간 승인을 받은 규칙 그룹을 사용하여 클러스터 내 중복 속성 값을 병합한다.
• 남아 있는 속성 값 갈등을 해결하기 위해 다수결 공의(MC)를 진리 발견 방법으로 적용한다.
• 규칙 기반 병합과 공의 기반 해결을 융합한 하이브리드 접근 방식을 통해 강력한 홀든 레코드 구축을 실현한다.

실험 결과

연구 질문

• RQ1 자동화된 규칙 생성과 그룹화가 높은 정밀도를 유지하면서 엔티티 통합에서 인간의 노동을 줄일 수 있는가?
• RQ2 자동화된 규칙를 통한 사전 처리가 홀든 레코드 구축에서 진리 발견의 성능을 얼마나 향상시키는가?
• RQ3 이러한 방법이 중복 패턴이 복잡한 대규모 실제 데이터셋에 얼마나 잘 스케일링되는가?
• RQ4 제한된 수의 인간 검증 규칙 그룹을 사용할 경우 정밀도와 재현율 사이의 상충 관계는 어떠한가?

주요 결과

• 실제 데이터셋에서 31,023개의 클러스터(80,451개의 중복 레코드 포함)에서 72,239개의 일치 규칙을 생성하였다.
• 인간 승인을 받은 규칙 그룹 100개만 검증함으로써 중복 속성 값 병합에서 98%의 정밀도와 75%의 재현율을 달성하였다.
• 다수결 공의 이전에 알고리즘을 통합함으로써 홀든 레코드 구축의 정밀도가 40% 향상되었다.
• 규칙 그룹화 전략이 인간 검증이 필요한 규칙의 수를 크게 줄여 확장성을 향상시켰다.