[논문 리뷰] The Challenge of Variable Effort Crowdsourcing and How Visible Gold Can Help

Danula Hettiachchi, Mike Schaekermann외 2명|arXiv (Cornell University)|2021. 05. 19.

Mobile Crowdsensing and Crowdsourcing참고 문헌 89인용 수 19

한 줄 요약

이 논문은 이미지당 애너테이션 노력이 크게 변동하는 물체 검출 작업에서의 변수적 노력 컨소시엄 문제를 다루며, 동적 피드백과 계층적 결과를 갖춘 가시적 골드 질문을 제안하여 기준 방법 대비 경계 상자 정확도에서 7.5% 향상시켰다.

ABSTRACT

We consider a class of variable effort human annotation tasks in which the number of labels required per item can greatly vary (e.g., finding all faces in an image, named entities in a text, bird calls in an audio recording, etc.). In such tasks, some items require far more effort than others to annotate. Furthermore, the per-item annotation effort is not known until after each item is annotated since determining the number of labels required is an implicit part of the annotation task itself. On an image bounding-box task with crowdsourced annotators, we show that annotator accuracy and recall consistently drop as effort increases. We hypothesize reasons for this drop and investigate a set of approaches to counteract it. Firstly, we benchmark on this task a set of general best-practice methods for quality crowdsourcing. Notably, only one of these methods actually improves quality: the use of visible gold questions that provide periodic feedback to workers on their accuracy as they work. Given these promising results, we then investigate and evaluate variants of the visible gold approach, yielding further improvement. Final results show a 7% improvement in bounding-box accuracy over the baseline. We discuss the generality of the visible gold approach and promising directions for future research.

연구 동기 및 목표

• 물체 검출과 같이 항목당 레이블링 노력이 크게 변동하는 작업에서의 데이터 품질 도전 과제를 특정하고 분석하는 것.
• 재정적 인centives, 작업 분해, 가시적 골드와 같은 기존의 품질 확보 방법이 이러한 작업에서 효과적으로 작용하는지 평가하는 것.
• 동적 발급 패턴과 품질 기반 결과를 갖춘 향상된 가시적 골드 메커니즘을 설계하고 실증적으로 테스트하는 것.

제안 방법

• 작업 수행 중에 작업자 정확도에 대한 실시간 피드백을 제공하는 가시적 골드 질문을 구현한 것.
• 작업자 성과 수준에 따라 테스트 빈도를 조정하는 동적 가시적 골드 전략을 설계한 것.
• 성과 기반 결과로 경고(저성과자)와 보너스(고성과자)를 도입하여 품질을 강화한 것.
• 초기 및 정기적인 가시적 골드 테스트를 조합하여 고노력 작업 동안 품질을 유지를 한 것.
• 기준 데이터에서 얻은 백분위수를 활용해 보너스 및 차단 기준을 校정하여 공정성과 효과성을 확보한 것.
• Open Images 데이터셋을 사용한 Mechanical Turk에서 제어된 컨소시엄 실험을 통해 다양한 변형을 평가한 것.

실험 결과

연구 질문

• RQ1 얼굴 검출과 같은 변수적 노력 작업에서 노력이 증가함에 따라 애너테이션 품질(정확도 및 재현율)이 어떻게 악화되는가?
• RQ2 재정적 인센티브, 작업 분해, 가시적 골드 중에서 변수적 노력 작업에서 품질 악화를 완화하는 데 가장 효과적인 방법은 무엇인가?
• RQ3 고노력 애너테이션 작업에서 데이터 품질을 극대화하는 데 가장 효과적인 가시적 골드 발급 패턴과 결과 구조는 무엇인가?
• RQ4 초기 및 정기적인 가시적 골드 테스트를 조합하면 단독으로 적용할 경우보다 더 높은 품질을 유지할 수 있는가?
• RQ5 경고와 보너스를 포함한 계층적 결과가 변수적 노력 애너테이션 작업에서 성능을 어떻게 향상시키는가?

주요 결과

• Mechanical Turk에서 얼굴 검출 작업에서 이미지당 얼굴 수가 증가할수록 정확도와 재현율이 뚜렷하게 저하되어 변수적 노력의 과제를 확인하였다.
• 검토된 방법 중에서 실시간 피드백이 포함된 가시적 골드만 데이터 품질 향상에 유의미한 영향을 미쳤으며, 재정적 인센티브와 작업 분해는 측정 가능한 이점이 없었다.
• 초기 및 정기적인 가시적 골드 테스트를 조합함으로써 단독으로 적용할 경우보다 더 나은 품질 유지가 가능했으며, 고노력 항목에서의 성능 저하를 감소시켰다.
• 최종 가시적 골드 설계(동적 테스트 및 계층적 결과 포함)는 기본 가시적 골드 변형 대비 5.7% 향상된 경계 상자 정확도를 기록했고, 가시적 골드 없이 기준 방법 대비 7.5% 향상되었다.
• 작업자들은 지속적인 피드백에서 유익을 얻었으며, 프리라이트 데이터 기반의 적응형 임계값이 공정성과 반응성 확보에 기여했다.
• 이 연구는 피드백을 통한 경험적 학습의 중요성을 강조하며, 향후 상호작용식 수정 기능 도입이 결과 향상에 기여할 수 있음을 시사한다.