[논문 리뷰] Crowdsourcing via Pairwise Co-occurrences: Identifiability and Algorithms

Shahana Ibrahim, Xiao Fu외 2명|arXiv (Cornell University)|2019. 09. 26.

Sparse and Compressive Sensing TechniquesEngineering참고 문헌 39인용 수 21

한 줄 요약

이 논문은 쌍별 공존( pairwise co-occurrences)을 이용한 새로운 프레임워크를 제안하여, 텐서 기반 방법보다 더 낮은 표본 복잡도로 Dawid-Skene 모델의 증명 가능한 식별성을 달성한다. 두 번째 순서 통계와 대수적 알고리즘을 활용함으로써, 희박한 레이블링과 신뢰할 수 없는 평가자 조건에서도 혼동 행렬과 지표 전처리를 식별하는 데 뛰어난 성능을 발휘하며, 최신 기준 기반 방법들을 능가한다.

ABSTRACT

The data deluge comes with high demands for data labeling. Crowdsourcing (or, more generally, ensemble learning) techniques aim to produce accurate labels via integrating noisy, non-expert labeling from annotators. The classic Dawid-Skene estimator and its accompanying expectation maximization (EM) algorithm have been widely used, but the theoretical properties are not fully understood. Tensor methods were proposed to guarantee identification of the Dawid-Skene model, but the sample complexity is a hurdle for applying such approaches---since the tensor methods hinge on the availability of third-order statistics that are hard to reliably estimate given limited data. In this paper, we propose a framework using pairwise co-occurrences of the annotator responses, which naturally admits lower sample complexity. We show that the approach can identify the Dawid-Skene model under realistic conditions. We propose an algebraic algorithm reminiscent of convex geometry-based structured matrix factorization to solve the model identification problem efficiently, and an identifiability-enhanced algorithm for handling more challenging and critical scenarios. Experiments show that the proposed algorithms outperform the state-of-art algorithms under a variety of scenarios.

연구 동기 및 목표

• 텐서 기반 방법이 쌍체적 레이블링을 위한 Dawid-Skene 모델을 식별할 때 발생하는 높은 표본 복잡도 문제를 해결하기 위해.
• 세 번째 순서 통계 대신 쌍별 공존(두 번째 순서 통계)을 사용하는 프레임워크를 개발하여 표본 효율성을 향상시키기 위해.
• 실제 조건(예: 잘 훈련된 평가자가 존재하거나 부분적인 레이블링이 존재하는 경우)에서도 모델의 식별성을 보장하기 위해.
• 표본 수가 많고 신뢰도가 높은 대규모 쌍체적 레이블링 응용 프로그램에 적합한 효율적이고 강력한 알고리즘을 설계하기 위해.
• 다양하고 도전적인 레이블링 환경에서 기존 최신 기준 방법들을 능가하는 레이블 집계 정확도를 달성하기 위해.

제안 방법

• 평가자 응답 간의 쌍별 공존 통계를 활용하여 공동 응답 분포를 추정함으로써, 세 번째 순서 통계에 의존하지 않도록 한다.
• 볼록 기하학과 구조적 행렬 분해에 기반한 대수적 알고리즘을 활용하여 모델 식별 문제를 효율적으로 해결한다.
• 매우 신뢰할 수 있는 평가자가 존재하지 않는 경우를 다루기 위해 식별성 향상된 반복 최적화 알고리즘을 도입한다.
• 적어도 한 명의 평가자가 충분히 높은 신뢰도를 가지는(예: 혼동 행렬이 항등행렬에 가까움) 것을 가정하여 식별성을 보장한다.
• 평가자가 랜덤으로 데이터를 샘플링할 때 쌍별 공존 통계의 신뢰할 수 있는 추정을 위한 표본 복잡도를 제한하기 위해 농도 부등식을 사용한다.
• 확률 단체 내 응답 분포의 기하학적 구조를 분석하여 식별성에 대한 이론적 보장을 도출한다.

실험 결과

연구 질문

• RQ1 세 번째 순서 통계에 의존하지 않고 평가자 응답의 쌍별 공존만을 사용하여 Dawid-Skene 모델을 식별할 수 있는가?
• RQ2 제안된 쌍별 공존 프레임워크 하에서 지표 레이블 전처리와 평가자 혼동 행렬의 식별성은 어떤 조건에서 보장되는가?
• RQ3 희박한 레이블링 조건에서 실생활에서 제안된 방법의 표본 복잡도는 텐서 기반 접근법과 비교해 어떻게 되는가?
• RQ4 제안된 대수적 알고리즘이 대규모 쌍체적 레이블링 환경에서 높은 정확도와 확장성을 달성할 수 있는가?
• RQ5 식별성 향상된 반복 알고리즘이 매우 신뢰할 수 있는 평가자가 존재하지 않는 상황에서 성능을 어떻게 향상시키는가?

주요 결과

• 제안된 프레임워크는 두 번째 순서 통계만을 사용하여도, 잘 훈련된 평가자가 존재하는 등의 현실적인 조건 하에서 모델의 식별성을 달성한다.
• 쌍별 공존 통계 추정을 위한 표본 복잡도는 세 번째 순서 통계보다 현저히 낮으며, 특히 평가자의 레이블링 확률이 낮을 경우 더욱 두드러진다.
• 대수적 알고리즘은 수렴 보장이 있는 효율적이고 확장 가능한 해법을 제공하여 대규모 쌍체적 레이블링에 적합하다.
• 식별성 향상된 반복 알고리즘은 매우 신뢰할 수 있는 평가자가 존재하지 않는 도전적인 상황에서도 강건성을 향상시킨다.
• 실험 결과, 제안된 두 알고리즘이 다양한 레이블링 환경과 데이터 희박성 수준에서 최신 기준 방법들을 능가함을 입증한다.
• 이론적 경계는 충분한 수의 평가자(예: 최소 1 + (2^{K-4}(K-1)^2)/(K α_min^{2(K-2)} ε^2) log(K(K-1)/ρ))가 존재할 경우, 모델은 고확률로 ε-충분히 산산각지며 식별 가능하다.