[논문 리뷰] Unifying Framework for Crowd-sourcing via Graphon Estimation

Christina Lee, Devavrat Shah|arXiv (Cornell University)|2017. 03. 23.

Mobile Crowdsensing and Crowdsourcing인용 수 3

한 줄 요약

이 논문은 잠재적 특징에 대한 잠재적 리프시츠 연속 함수로 모델링된 작업자-과제 일치 확률을 통해 기존 모델을 통합하는 비모수적, 그래폰 기반 프레임워크를 제안한다. 문제를 그래폰 추정으로 환원함으로써, 기저 함수나 특징에 대한 사전 지식이 없더라도 과제당 $\tilde{O}(\ln(T)^{3/2})$개의 응답만으로도 높은 확률로 참 과제 답변을 정확하게 추론할 수 있다.

ABSTRACT

We consider the question of inferring true answers associated with tasks based on potentially noisy answers obtained through a micro-task crowd-sourcing platform such as Amazon Mechanical Turk. We propose a generic, non-parametric model for this setting: for a given task $i$, $1\leq i \leq T$, the response of worker $j$, $1\leq j\leq W$ for this task is correct with probability $F_{ij}$, where matrix $F = [F_{ij}]_{i\leq T, j\leq W}$ may satisfy one of a collection of regularity conditions including low rank, which can express the popular Dawid-Skene model; piecewise constant, which occurs when there is finitely many worker and task types; monotonic under permutation, when there is some ordering of worker skills and task difficulties; or Lipschitz with respect to an associated latent non-parametric function. This model, contains most, if not all, of the previously proposed models to the best of our knowledge. We show that the question of estimating the true answers to tasks can be reduced to solving the Graphon estimation problem, for which there has been much recent progress. By leveraging these techniques, we provide a crowdsourcing inference algorithm along with theoretical bounds on the fraction of incorrectly estimated tasks. Subsequently, we have a solution for inferring the true answers for tasks using noisy answers collected from crowd-sourcing platform under a significantly larger class of models. Concretely, we establish that if the $(i,j)$th element of $F$, $F_{ij}$, is equal to a Lipschitz continuous function over latent features associated with the task $i$ and worker $j$ for all $i, j$, then all task answers can be inferred correctly with high probability by soliciting $ ilde{O}(\ln(T)^{3/2})$ responses per task even without any knowledge of the Lipschitz function, task and worker features, or the matrix $F$.

연구 동기 및 목표

• 기존의 다양한 커뮤니티 기반 추론 모델—다위드-스키네, 저랭크, 조각상수 모델 등을 포함해—를 하나의 비모수적 프레임워크로 통합하는 것.
• 아마존 메카니컬 터크 같은 플랫폼을 통해 수집된 노이즈가 많거나 편향이 있을 수 있는 응답들로부터 참 과제 답변을 추론하는 문제에 대응하는 것.
• 높은 확률의 정확도를 달성하기 위한 이론적으로 탄탄한 추론 알고리즘을 개발하여 최소한의 응답 요구 조건을 충족시키는 것.

제안 방법

• 과제 i와 작업자 j에 관련된 잠재적 특징에 대한 리프시츠 연속 함수로 작업자-과제 일치 확률 $F_{ij}$를 모델링함으로써 비모수적 표현을 가능하게 한다.
• 참 과제 답변 추정 문제를 최근 비모수적 그래폰 복원 기술을 활용한 그래폰 추정 문제로 환원한다.
• 규칙성 조건(예: 낮은 랭크, 조각상수, 단조성 또는 리프시츠) 하에서 $F$ 행렬의 구조를 활용하여 기존 모델을 통합하고 일반화한다.
• 관측된 응답들로부터 기저 일치 함수 $F$를 복원하기 위해 그래폰 추정 기법을 적용한다.
• 제안된 프레임워크 하에서 잘못 추정된 과제의 비율에 대한 이론적 경계를 유도한다.
• 리프시츠 함수나 잠재적 특징, 또는 행렬 $F$에 대한 사전 지식이 없더라도 과제당 $\tilde{O}(\ln(T)^{3/2})$개의 응답으로도 높은 확률의 정확도를 달성한다.

실험 결과

연구 질문

• RQ1 단일 비모수적 프레임워크가 저랭크, 조각상수, 단조성 모델을 포함한 기존의 커뮤니티 기반 추론 모델을 통합할 수 있는가?
• RQ2 그래폰 추정 기법은 노이즈가 많은 커뮤니티 기반 응답들로부터 참 과제 답변을 추론하는 문제에 어떻게 적응할 수 있는가?
• RQ3 기저 일치 함수나 잠재적 특징에 대한 사전 지식이 없이도 높은 확률의 정확도를 달성하기 위해 과제당 최소한의 응답 수는 얼마인가?
• RQ4 작업자-과제 일치 행렬 $F$에 어떤 규칙성 조건이 만족될 경우 정확한 추론을 보장할 수 있는가?

주요 결과

• 제안된 프레임워크는 다위드-스키네 모델을 포함한 모든 알려진 커뮤니티 기반 추론의 모수적 모델을 하나의 비모수적 공식화로 일반화하고 통합한다.
• 일치 확률 $F_{ij}$가 잠재적 특징에 대해 리프시츠 연속일 경우, 모든 참 과제 답변을 높은 확률로 정확히 추론할 수 있다.
• 리프시츠 함수, 잠재적 특징, 또는 행렬 $F$에 대한 지식이 없더라도 과제당 $\tilde{O}(\ln(T)^{3/2})$개의 응답만으로도 높은 확률의 정확도를 달성할 수 있다.
• 오차 확률에 대한 이론적 경계는 최근 상당한 진전을 이룬 그래폰 추정 문제로의 환원을 통해 도출되었다.
• 이 프레임워크는 낮은 랭크, 조각상수, 단조성 등의 다양한 규칙성 조건을 동일한 추정 원칙 하에서 지원한다.
• 이 접근법은 최소한의 가정 하에서도 강건한 추론을 가능하게 하여, 작업자 및 과제 특성에 대한 사전 지식이 없는 실제 커뮤니티 기반 추론 환경에 적용 가능하다.