[논문 리뷰] CrowdER: Crowdsourcing Entity Resolution

Jiannan Wang, Tim Kraska외 2명|arXiv (Cornell University)|2012. 08. 09.

Data Quality and Management참고 문헌 19인용 수 65

한 줄 요약

이 논문은 기계 학습을 활용해 후보 레코드 쌍을 사전 필터링하여 고비용의 인간 검증 작업 수를 크게 줄이는 하이브리드 인간-기계 프레임워크인 CrowdER을 제안한다. 클러스터 기반의 HIT 생성을 NP-난이도 문제로 공식화하고 이중 히ュ리스틱을 도입함으로써 인간 전용 접근 방식에 비해 훨씬 적은 작업으로 높은 정확도를 달성하며, 비용을 수개월 단위로 줄이고 기계 전용 방법을 능가한다.

ABSTRACT

Entity resolution is central to data integration and data cleaning. Algorithmic approaches have been improving in quality, but remain far from perfect. Crowdsourcing platforms offer a more accurate but expensive (and slow) way to bring human insight into the process. Previous work has proposed batching verification tasks for presentation to human workers but even with batching, a human-only approach is infeasible for data sets of even moderate size, due to the large numbers of matches to be tested. Instead, we propose a hybrid human-machine approach in which machines are used to do an initial, coarse pass over all the data, and people are used to verify only the most likely matching pairs. We show that for such a hybrid system, generating the minimum number of verification tasks of a given size is NP-Hard, but we develop a novel two-tiered heuristic approach for creating batched tasks. We describe this method, and present the results of extensive experiments on real data sets using a popular crowdsourcing platform. The experiments show that our hybrid approach achieves both good efficiency and high accuracy compared to machine-only or human-only alternatives.

연구 동기 및 목표

• 대규모 데이터셋에서 인간 전용 엔티티 해석의 높은 비용과 확장성 한계를 해결하기 위해.
• 정확도를 유지하면서 엔티티 해석에 필요한 인간 검증 작업 수를 줄이기 위해.
• 기계 기반 필터링과 커뮤니티 기반 검증을 통합한 실용적이고 확장 가능한 프레임워크를 개발하기 위해.
• HIT 내에서 레코드 쌍의 배치 및 클러스터링이 커뮤니티 기반 엔티티 해석의 효율성과 지연 시간을 어떻게 향상시킬 수 있는지 탐색하기 위해.

제안 방법

• 기계 학습을 적용해 인간 검토 이전에 후보 레코드 쌍을 사전 필터링하여 검색 공간을 축소시키기 위해.
• 클러스터 기반의 HIT 생성을 NP-난이도 문제로 공식화하여 검증 작업 수를 최소화하기 위해.
• 이중 히ュ리스틱 접근 방식 설계: 먼저 유사도 기반 클러스터링 알고리즘을 사용해 유사한 레코드를 클러스터로 묶고, 그 다음 클러스터 할당을 최적화하여 클러스터 수를 최소화하기 위해.
• 기계 필터링을 통해 가장 가능성 높은 매칭 결과만 아마존 메카니컬 터크 같은 커뮤니티 기반 플랫폼에 전송하는 하이브리드 워크플로우를 구현하기 위해.
• 쌍 기반 및 클러스터 기반의 HIT를 구현하고, 비용, 정확도, 지연 시간 측면에서 성능을 비교하기 위해.
• HIT 크기 제한 및 작업자 인터페이스 익숙함과 같은 실제 제약 조건을 고려해 최적화하기 위해.

실험 결과

연구 질문

• RQ1 순수하게 인간 기반 방법에 비해 하이브리드 인간-기계 접근 방식이 엔티티 해석에서 요구되는 인간 검증 작업 수를 크게 줄일 수 있는가?
• RQ2 고정된 HIT 크기와 작업자 인지 부담과 같은 실용적 제약 조건 하에서 클러스터 기반의 HIT 수를 어떻게 최소화할 수 있는가?
• RQ3 커뮤니티 기반 엔티티 해석에서 인터페이스의 단순성(쌍 기반)과 효율성(클러스터 기반) 사이의 상충 관계는 무엇인가?
• RQ4 실제 데이터셋에서 기계 전용, 인간 전용, 하이브리드 접근 방식 간의 엔티티 해석 품질은 어떻게 비교되는가?
• RQ5 작업자들이 간단한 인터페이스를 선호하는 정도가 커뮤니티 기반 엔티티 해석의 성능과 비용에 어떤 영향을 미치는가?

주요 결과

• 이중 히ュ리스틱 접근 방식은 기존 알고리즘보다 훨씬 적은 수의 클러스터 기반 HIT를 생성하여 작업 효율성을 향상시켰다.
• 하이브리드 인간-기계 워크플로우는 인간 전용 접근 방식에 비해 필요로 하는 HIT 수를 수개월 단위로 줄여 상당한 비용 절감을 이뤘다.
• CrowdER는 최신 기계 전용 기법보다 높은 정확도를 달성하여 고신뢰도 쌍에 대한 인간의 통찰력의 가치를 입증했다.
• 클러스터 기반의 HIT는 쌍 기반 접근 방식보다 지연 시간이 낮았으며, 특히 많은 레코드가 매칭될 경우 작업 오버헤드가 줄어들어 효율성이 높았다.
• 크기가 더 작음에도 불구하고, AMT 작업자들은 클러스터 기반의 HIT를 쌍 기반의 HIT보다 덜 선호했으며, 이는 인터페이스 익숙함이 성능과 비용에 영향을 미칠 수 있음을 시사한다.
• 결과는 단순히 배치만으로는 확장성이 확보되지 않으며, 기계 사전 필터링이 가능하고 실현 가능한 커뮤니티 기반 엔티티 해석을 위해 필수적임을 확인했다.