[논문 리뷰] A Bayesian Approach to Discovering Truth from Conflicting Sources for Data Integration

Bo Zhao, Benjamin I. P. Rubinstein외 2명|arXiv (Cornell University)|2012. 03. 01.

Mobile Crowdsensing and Crowdsourcing참고 문헌 13인용 수 6

한 줄 요약

이 논문은 다중 값 속성 설정에서 정확한 진실 찾기를 가능하게 하기 위해 거짓 양성과 거짓 음성의 별도 모델링을 통해 진짜 엔티티 값과 소스 품질을 함께 추론하는 베이지안 잠재 진실 모델을 제안한다. 이 방법은 효율적인 선형 시간 추론을 위한 콜랩스드 지브스 샘플링을 사용하며, 실제 데이터셋에서 최신 기술보다 뛰어난 성능을 보인다.

ABSTRACT

In practical data integration systems, it is common for the data sources being integrated to provide conflicting information about the same entity. Consequently, a major challenge for data integration is to derive the most complete and accurate integrated records from diverse and sometimes conflicting sources. We term this challenge the truth finding problem. We observe that some sources are generally more reliable than others, and therefore a good model of source quality is the key to solving the truth finding problem. In this work, we propose a probabilistic graphical model that can automatically infer true records and source quality without any supervision. In contrast to previous methods, our principled approach leverages a generative process of two types of errors (false positive and false negative) by modeling two different aspects of source quality. In so doing, ours is also the first approach designed to merge multi-valued attribute types. Our method is scalable, due to an efficient sampling-based inference algorithm that needs very few iterations in practice and enjoys linear time complexity, with an even faster incremental variant. Experiments on two real world datasets show that our new method outperforms existing state-of-the-art approaches to the truth finding problem.

연구 동기 및 목표

• 동일한 엔티티에 대해 모순되는 정보를 제공하는 출처가 존재하는 데이터 통합의 진실 찾기 문제를 해결하기 위해.
• 단일 신뢰도 점수로 표현하는 것 대신, 거짓 양성률과 거짓 음성률이라는 두 가지 별개의 측면으로 소스 품질을 모델링하기 위해.
• 기존 방법이 효과적으로 처리하지 못하는 다중 값 속성(예: 다수의 저자 또는 출연진)을 포함한 진실 추론을 지원하기 위해.
• 감독 없이 진실과 소스 품질을 함께 학습하는 원칙적인 추론 알고리즘을 개발하기 위해.
• 스트리밍 데이터 워크로드를 위한 증분적이고 온라인 진실 찾기를 가능하게 하기 위해.

제안 방법

• 잠재 진실 변수를 포함한 확률적 그래픽 모델을 제안하여 엔티티의 진짜 값을 표현한다.
• 소스 품질을 두 개의 독립된 파라미터인 거짓 양성률(FP)과 거짓 음성률(FN)으로 모델링하여 서로 다른 오류 유형을 반영한다.
• 관측된 주장이 진짜 값으로부터 오류 확률이 FP와 FN로 정의된 생성 과정을 통해 생성되도록 모델링한다.
• 잠재 진실 변수를 적분하여 제거하는 콜랩스드 지브스 샘플링을 사용하여 효율적인 추론을 수행하며, 선형 시간 복잡도를 달성한다.
• 이전 샘플을 재사용하고 영향을 받는 구성 요소만 업데이트함으로써 증분 추론을 지원하여 온라인 배포가 가능하게 한다.
• 베이지안 프레임워크 내에서 공액 사전을 통해 진실 분포나 소스 품질에 대한 사전 지식을 통합한다.

실험 결과

연구 질문

• RQ1 감독 없이도 진짜 엔티티 값과 소스 품질을 함께 추론할 수 있는 베이지안 모델이 가능한가?
• RQ2 거짓 양성과 거짓 음성을 별도의 소스 품질 차원으로 모델링하면, 특히 다중 값 속성에 대해 진실 찾기 정확도가 향상되는가?
• RQ3 제안된 방법은 큰 데이터셋에 대해 효율적으로 스케일업하고 빠른 수렴을 보이는가?
• RQ4 실제 데이터에서 최신 기술 대비 이 모델의 성능은 어떠한가?
• RQ5 이 모델은 스트리밍 데이터 시나리오에서 증분적 진실 찾기를 지원할 수 있는가?

주요 결과

• 제안된 방법은 두 개의 실제 데이터셋에서 F1 점수와 정확도 측면에서 기존 최신 기술 대비 뛰어난 성능을 보였다.
• 모델은 데이터 크기에 대해 선형 시간 복잡도를 달성하며, 실질적으로 매우 적은 반복 수에서 수렴한다.
• 증분적 추론 알고리즘의 변형은 정확도는 유사하게 유지하면서 배치 추론보다 훨씬 빠른 속도를 보였다.
• 모델은 높은 거짓 양성률 또는 거짓 음성률을 가진 소스를 성공적으로 식별하여, 이중 품질 모델링 접근법의 타당성을 검증했다.
• 기존 방법이 처리하지 못하는 다중 값 속성(예: 다수의 저자 또는 출연진)을 자연스럽게 지원한다.
• 실험 결과는 거짓 양성과 거짓 음성을 별도로 다루는 것이 단일 파rameter 소스 품질 모델보다 더 정확한 진실 추론을 이끌어낸다는 것을 확인했다.