[논문 리뷰] Avoiding Imposters and Delinquents: Adversarial Crowdsourcing and Peer Prediction

Jacob Steinhardt, Gregory Valiant외 1명|arXiv (Cornell University)|2016. 06. 16.

Mobile Crowdsensing and Crowdsourcing참고 문헌 36인용 수 3

한 줄 요약

이 논문은 신뢰할 수 있는 평가자가 소수에 불과한 악성 컨소시엄 캐디테이션 환경에서 상위 평가를 받는 항목을 식별하기 위한 강건한 행렬 완성 프레임워크를 제안한다. 핵심 노름 제약 조건을 가진 정수형 프로그래밍을 사용하고, 대칭을 깨뜨리기 위해 소수의 개인 평가를 통합함으로써, 전체 항목 수 n과 무관하게 작업량이 유지되는 동안, 악성 방해 조건 하에서도 오차가 최대 ϵ 이내로 상위 β-분율의 항목을 복원한다.

ABSTRACT

We consider a crowdsourcing model in which $n$ workers are asked to rate the quality of $n$ items previously generated by other workers. An unknown set of $αn$ workers generate reliable ratings, while the remaining workers may behave arbitrarily and possibly adversarially. The manager of the experiment can also manually evaluate the quality of a small number of items, and wishes to curate together almost all of the high-quality items with at most an $ε$ fraction of low-quality items. Perhaps surprisingly, we show that this is possible with an amount of work required of the manager, and each worker, that does not scale with $n$: the dataset can be curated with $ ilde{O}\Big(\frac{1}{βα^3ε^4}\Big)$ ratings per worker, and $ ilde{O}\Big(\frac{1}{βε^2}\Big)$ ratings by the manager, where $β$ is the fraction of high-quality items. Our results extend to the more general setting of peer prediction, including peer grading in online classrooms.

연구 동기 및 목표

• 신뢰할 수 없는 평가자 또는 악성 평가자가 존재하는 컨소시엄 평가 시스템에서 고품질 항목을 식별하는 문제에 대응하기 위해.
• 지식 기반 레이블에 의존하지 않고, 사용자로부터 소수의 개인 평가만으로도 정직한 평가자와 악성 평가자 간의 대칭을 깨뜨려 상위 β-분율의 항목을 정확하게 식별하기 위해.
• 총 항목 수 n과 무관하게 각 평가자당 작업량이 유지되는 확장 가능한 알고리즘을 설계하기 위해.
• 평가자 간 일致성에 대한 가정을 완화하여, 예상 평가가 유사한 순위를 유도하는 한, 평가자의 엄격함이 다를 수 있도록 허용하기 위해.

제안 방법

• 행렬의 원소, 행 합, 핵심 노름에 대한 제약 조건 하에 내적 ⟨~A, M⟩ 를 최대화하는 정수형 프로그래밍으로 복원 문제를 수립한다.
• 낮은 질서의 구조를 촉진하고 신뢰할 수 없는 평가자로부터 유도되는 노이즈를 억제하기 위해 핵심 노름 제약 조건 ∥M∥∗ ≤ 2αϵαβnm 을 적용한다.
• 신뢰할 수 있는 평가자와 악성 평가자 간의 대칭을 깨뜨리기 위해 소수의 개인 평가 ~r 을 사용하며, 이는 α < 1/2 인 경우 필수적이다.
• 희박하고 일정한 차수를 가지는 설정에 맞게 조정된 스트로스틱 블록 모델 및 커뮤니티 탐지 기법을 기반으로 한 행렬 완성 기법을 활용한다.
• 정확한 평가 일致성 대신 순위 일관성이라는 더 약한 형태의 평가자 간 일치를 기반으로 하여, 평가자 편향에 대한 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 신뢰할 수 없는 평가자가 다수 존재하는 컨소시엄 평가 시스템에서 상위 β-분율의 항목을 신뢰성 있게 식별할 수 있는가?
• RQ2 지식 기반 레이블에 의존하지 않고, 정직한 평가자와 악성 평가자 간의 대칭을 깰 수 있는가?
• RQ3 총 항목 수 n과 무관하게, 상위 항목의 ϵ-근사 복원을 달성하기 위해 각 평가자당 최소한의 작업량은 얼마인가?
• RQ4 평가자 편향이나 엄격함의 다양성에 대해 어느 정도 내성을 가지면서도 정확한 순위를 복원할 수 있는가?

주요 결과

• 높은 확률(최소 99%)로, 알고리즘은 진짜 상위 집합 T∗ 와 평균 품질가 최대 ϵ 이내로 오차가 나는 βn개의 항목을 복원한다.
• 평가자당 필요로 하는 평가 수 k 는 O(1/βα³ϵ⁴) 이며, 이는 정확도와 신뢰도 요구 수준이 높아질수록 느리게 증가한다.
• 사용자가 직접 평가해야 할 항목 수 k₀ 는 Ω(log(1/αβϵ)/(βϵ²)) 이며, 이는 정보 이론적으로 필수적이며 거의 최적이다.
• 신뢰할 수 있는 평가자 간 엄격함이 다를 수 있지만, 그 평균 평가가 유사한 순위를 유도하는 한, 방법은 여전히 효과적이다.
• 핵심 노름 제약 조건은 악성 영향을 억제하고, 평가자 간 일치가 약한 조건에서도 복원을 가능하게 하는 데 핵심적인 역할을 한다.