[논문 리뷰] Reducing Uncertainty of Schema Matching via Crowdsourcing with Accuracy Rates

Chen Zhang, Lei Chen외 3명|arXiv (Cornell University)|2018. 09. 11.

Mobile Crowdsensing and Crowdsourcing인용 수 6

한 줄 요약

이 논문은 작업자 정확도 비율에 기반하여 동적으로 선택하고 게시하는 대응 정확도 질문(Correspondence Correctness Questions, CCQs)을 통해 스키마 매칭의 불확실성을 줄이기 위해 두 가지 적응형 커스터마이징 프레임워크—Single CCQ 및 Multiple CCQ—를 제안한다. 불확실성 감소를 엔트로피 증가로 수학적으로 모델링하고, 이론적 경계를 갖춘 효율적인 알고리즘을 제공함으로써 예산 제약 내에서 상당한 불확실성 감소를 달성한다.

ABSTRACT

Schema matching is a central challenge for data integration systems. Inspired by the popularity and the success of crowdsourcing platforms, we explore the use of crowdsourcing to reduce the uncertainty of schema matching. Since crowdsourcing platforms are most effective for simple questions, we assume that each Correspondence Correctness Question (CCQ) asks the crowd to decide whether a given correspondence should exist in the correct matching. Furthermore, members of a crowd may sometimes return incorrect answers with different probabilities. Accuracy rates of individual crowd workers are probabilities of returning correct answers which can be attributes of CCQs as well as evaluations of individual workers. We prove that uncertainty reduction equals to entropy of answers minus entropy of crowds and show how to obtain lower and upper bounds for it. We propose frameworks and efficient algorithms to dynamically manage the CCQs to maximize the uncertainty reduction within a limited budget of questions. We develop two novel approaches, namely `Single CCQ' and `Multiple CCQ', which adaptively select, publish and manage questions. We verify the value of our solutions with simulation and real implementation.

연구 동기 및 목표

• 자동화된 도구가 모호성을 해결하지 못할 경우 발생하는 반자동 스키마 매칭 도구의 본질적 불확실성 문제를 해결한다. 이 도구들은 관련 확률과 함께 여러 가지 가능한 매칭을 생성한다.
• 임시적인 데이터 통합 시나리오에서 모호성을 해결하기 위해 전문가가 아닌 사용자에 의존하는 데서 비롯하는 한계를 극복한다.
• 아마존 메카니컬 터크 같은 커스터마이징 플랫폼을 활용하여 세분화된 대응 정확도에 대한 인간의 판단을 통해 매칭 정확도를 향상시킨다.
• 고정된 예산 내에서 비용(CCQ 수)과 성능(불확실성 감소) 사이의 트레이드오프를 최적화한다.
• 작업자 정확도 비율을 확률적 속성으로 모델링하여 커뮤니티 기여자의 신뢰성 변동성을 반영한다.

제안 방법

• 대응 정확도 질문(Correspondence Correctness Questions, CCQs)을 특정 속성 대응이 올바른지 여부를 묻는 이진 질의로 정의한다.
• 불확실성 감소를 답변의 엔트로피와 커뮤니티 응답의 엔트로피 간의 차이로 모델링하고, 이 값이 기대 불확실성 감소와 동일하다는 것을 증명한다.
• CCQ 선택 문제를 기대 불확실성 감소를 최대화하는 문제로 공식화하고, 불확실성 감소 함수의 서브모듈라성(submodularity)을 활용하여 (1+ε)-근사 알고리즘을 설계한다.
• 동적 피드백에 기반하여 두 가지 프레임워크를 도입한다: Single CCQ(각 반복에서 하나의 최적 CCQ를 선택)와 Multiple CCQ(각 반복에서 k개의 CCQ를 일괄 선택)이다.
• 응답 신뢰도를 가중치로 사용하기 위해 작업자 정확도 비율을 사전 확률로 통합하여 불확실성 추정을 반복적으로 개선한다.
• 불확실성 감소에 대한 이론적 하한 및 상한 경계를 유도하여 선택 과정에서 성능 보장을 가능하게 한다.

실험 결과

연구 질문

• RQ1 자동화된 도구가 모호성을 해결하지 못할 경우, 커스터마이징를 효과적으로 활용하여 스키마 매칭의 불확실성을 어떻게 줄일 수 있는가?
• RQ2 질문 수를 최소화하면서 불확실성 감소를 최대화하기 위한 최적의 CCQ 선택 전략은 무엇인가?
• RQ3 작업자 정확도 비율은 커뮤니티 기반 응답의 신뢰성과 전체적인 불확실성 감소 과정에 어떤 영향을 미치는가?
• RQ4 불확실성 감소를 공식적으로 경계할 수 있으며, 커스터마이징를 통한 향상의 이론적 한계는 무엇인가?
• RQ5 변동하는 응답률과 작업자 신뢰도를 고려할 때, 예산과 시간 제약 조건 하에 동시에 여러 개의 CCQ를 선택하는 것은 어떻게 최적화할 수 있는가?

주요 결과

• 불확실성 감소는 답변의 엔트로피와 커뮤니티 응답의 엔트로피 간의 차이와 수학적으로 동일하며, 이는 견고한 이론적 기반을 제공한다.
• CCQ 선택 문제는 NP-난이도이지만, 불확실성 감소 함수의 서브모듈라성에 기반하여 (1+ε)-근사 알고리즘이 제안된다.
• 작업자 정확도를 명시적으로 모델링할 경우, Multiple CCQ 프레임워크가 Single CCQ보다 단위 질문당 불확실성 감소에서 뛰어난 성능을 보인다.
• 불확실성 감소에 대한 이론적 경계가 도출되어, 다양한 전략 간의 성능 평가 및 비교가 가능해진다.
• 시뮬레이션과 실세계 구현 결과는 제안된 프레임워크가 제한된 예산 내에서 불확실성을 상당히 감소시키며, 기준 대비 우수한 성능을 보임을 확인한다.
• 작업자 정확도 비율은 신뢰할 수 있는 불확실성 추정에 매우 중요하며, 품질이 낮은 응답으로부터의 편향을 방지하기 위해 CCQ 선택 과정에 반드시 포함되어야 한다.