[논문 리뷰] Select Your Questions Wisely: For Entity Resolution With Crowd Errors

Vijaya Krishna Yalavarthi, Xiangyu Ke외 1명|arXiv (Cornell University)|2017. 01. 28.

Mobile Crowdsensing and Crowdsourcing참고 문헌 50인용 수 4

한 줄 요약

이 논문은 작업자 오류를 불확실성 그래프를 통해 모델링하고, 그 엣지 확률을 현장 투표로부터 유도하는 파라미터 없는 프레임워크인 PERC를 제안한다. 지역적 특징이 아닌 전역 클러스터링 신뢰도를 기반으로 다음 컨소시엄 질문을 선택함으로써, 기존 최고 수준의 방법들에 비해 엔티티 해석 정확도를 15% 향상시키고 컨소시엄 비용을 50% 감소시킨다.

ABSTRACT

Crowdsourcing is becoming increasingly important in entity resolution tasks due to their inherent complexity such as clustering of images and natural language processing. Humans can provide more insightful information for these difficult problems compared to machine-based automatic techniques. Nevertheless, human workers can make mistakes due to lack of domain expertise or seriousness, ambiguity, or even due to malicious intents. The state-of-the-art literature usually deals with human errors via majority voting or by assigning a universal error rate over crowd workers. However, such approaches are incomplete, and often inconsistent, because the expertise of crowd workers are diverse with possible biases, thereby making it largely inappropriate to assume a universal error rate for all workers over all crowdsourcing tasks. To this end, we mitigate the above challenges by considering an uncertain graph model, where the edge probability between two records A and B denotes the ratio of crowd workers who voted Yes on the question if A and B are same entity. In order to reflect independence across different crowdsourcing tasks, we apply the well-established notion of possible worlds, and develop parameter-free algorithms both for next crowdsourcing, as well as for entity resolution problems. In particular, using our framework, the problem of entity resolution becomes equivalent to finding the maximum-likelihood clustering; whereas for the next crowdsourcing, we identify the record pair that maximally increases the reliability of the maximum-likelihood clustering. Based on detailed empirical analysis over real-world datasets, we find that our proposed solution, PERC (probabilistic entity resolution with imperfect crowd) improves the quality by 15% and reduces the overall cost by 50% for the crowdsourcing-based entity resolution problem.

연구 동기 및 목표

• 모든 작업자 오류율을 가정하거나 다수결 투표를 사용하는 기존의 컨소시엄 기반 엔티티 해석 방법의 한계를 해결하기 위해, 작업자 전문성의 다양성과 편향을 고려하지 못하는 문제를 해결한다.
• 품질 보증을 별개의 문제로 간주하지 않고, 엔티티 해석과 컨소시엄 오류를 동시에 모델링하는 종단 간 파ip라인을 개발한다.
• 전역 클러스터링 신뢰도를 기반으로 다음 레코드 쌍을 질의할 최적의 질문을 지능적으로 선택하여 컨소시엄 비용을 최소화하면서 엔티티 해석 정확도를 최대화한다.
• 사용자 정의 기준값이나 작업자 오류율에 대한 사전 지식이 필요 없도록 하여 실세계 환경에서의 실용적 구현을 가능하게 한다.

제안 방법

• 두 레코드가 동일한 엔티티를 가리키는지에 대한 '예' 응답 비율을 나타내는 엣지 확률을 갖는 불확실성 그래프로 엔티티 해석을 모델링한다.
• 모든 잠재적인 일관된 레이블링을 표현하기 위해 가능한 세계 의미론을 사용하여 작업자 응답에 대한 확률적 추론을 가능하게 한다.
• 클러스터 내외의 연결성 특성을 캡처하는 신뢰도 메트릭을 정의하여 다음 최적의 컨소시엄 질문 선택의 목적 함수로 활용한다.
• 엣지 독립성을 활용하여 효율적으로 확장 가능한 방식으로 클러스터링 신뢰도 향상의 기대치를 최대화하는 방식으로 다음 질문 선택 문제를 수식화한다.
• 전체 클러스터링 신뢰도에 대한 영향을 기반으로 동적으로 가장 정보성 높은 레코드 쌍을 다음으로 질의할 대상으로 선택하는 파라미터 없는 알고리즘을 설계한다.
• 신뢰도 기반 선택 전략을 관련 클러스터링과 통합하여 노이즈가 많거나 일관성 없는 작업자 입력에 대해 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 동일한 오류율을 가정하지 않고, 다양한 작업자 오류의 영향을 효과적으로 모델링하고 완화할 수 있는 방법은 무엇인가?
• RQ2 엔티티 해석 정확도를 극대화하면서 비용을 최소화하기 위해 다음 컨소시엄 질문을 선택할 기준은 무엇이어야 하는가?
• RQ3 지역적 히우리스틱 기반 메트릭(예: 경로 길이 또는 엣지 수)보다 전역적이고 신뢰도 기반 메트릭이 다음 질문 선택을 이끄는 데 더 우수한가?
• RQ4 실세계 엔티티 해석 작업에서 도메인 특화 기준값이나 사전 오류 추정치에 대한 의존도를 줄이기 위해 파라미터 없는 접근 방식이 어느 정도 기여할 수 있는가?
• RQ5 다양한 배치 크기와 데이터셋에서 최고 수준의 방법들인 MinMax, PC-Pivot, DENSE와 비교했을 때 제안된 방법의 정확도와 비용 효율성은 어떠한가?

주요 결과

• PERC는 네 개의 실세계 데이터셋에서 최고 수준의 MinMax, DENSE, PC-Pivot 방법에 비해 엔티티 해석 정확도를 15% 향상시켰다.
• PERC는 평균적으로 필요한 컨소시엄 질문 수를 50% 감소시켜 엔티티 해석의 총 비용을 크게 낮췄다.
• Gymnastics 데이터셋에서 F1-측정치 = 0.9일 때, PERC는 PC-Pivot 대비 55.56% 비용을 절감했고, MinMax 대비 38.46% 절감했다.
• PERC는 더 적은 질문 수로 더 높은 정확도를 달성하여, 신뢰도 기반 질문 선택 전략이 지역적 특징 기반 접근보다 더 효과적임을 입증했다.
• 작은 배치 크기일수록 정확도가 향상되고 비용이 감소하며, PERC는 모든 테스트된 배치 크기에서 bDENSE를 일관되게 능가했다.
• PERC의 다음 질문 선택 시간은 최고 수준의 방법들보다 한 단계 빠르며, 이는 높은 계산 효율성을 의미한다.