[논문 리뷰] CrowdHub: Extending crowdsourcing platforms for the controlled evaluation of tasks designs

Jorge Ramírez, Simone Degiacomi외 4명|arXiv (Cornell University)|2019. 09. 06.

Mobile Crowdsensing and Crowdsourcing참고 문헌 12인용 수 4

한 줄 요약

CrowdHub는 Figure Eight 및 Toloka와 같은 커뮤니티 소싱 플랫폼을 확장하여 작업 설계 평가를 통제적이고 체계적으로 수행할 수 있도록 도와주는 도구입니다. 작업자 자격, 인구 통계학적 특성, 실행 시점 등을 관리함으로써 실험적 편향을 줄이며, 자동화된 워크플로우, 자격 제어, 시간 샘플링을 통해 비통제 환경에서 발생할 수 있는 최대 38%의 데이터 손실을 방지함으로써 연구자들이 더 높은 데이터 유용성과 신뢰도를 확보할 수 있도록 합니다.

ABSTRACT

We present CrowdHub, a tool for running systematic evaluations of task designs on top of crowdsourcing platforms. The goal is to support the evaluation process, avoiding potential experimental biases that, according to our empirical studies, can amount to 38% loss in the utility of the collected dataset in uncontrolled settings. Using CrowdHub, researchers can map their experimental design and automate the complex process of managing task execution over time while controlling for returning workers and crowd demographics, thus reducing bias, increasing utility of collected data, and making more efficient use of a limited pool of subjects.

연구 동기 및 목표

• 반복 작업자, 조건 교차, 시차, 인구 통계학적 불균형 등으로 인한 커뮤니티 소싱 작업 설계 평가의 실험적 편향을 해결하기 위해.
• 통제된 작업자 집단과 실행 스케줄링을 활용해 여러 작업 설계 간 체계적이고 반복 가능한 비교를 지원하기 위해.
• 작업자 행동 및 플랫폼 한계로 인한 편향으로 인해 최대 38%까지 발생할 수 있는 데이터 유용성 손실을 줄이기 위해.
• 기존 커뮤니티 소싱 플랫폼에서 복잡한 다중 설정 작업 실험을 자동 배포 및 관리할 수 있도록 연구자에게 도구를 제공하기 위해.
• 작업자 액세스 및 작업 순서를 정밀하게 제어할 수 있는 between-subjects 및 within-subjects 실험 설계를 가능하게 하기 위해.

제안 방법

• CrowdHub는 Figure Eight, Toloka 등 주요 커뮤니티 소싱 플랫폼의 공개 API 및 JavaScript 확장 기능을 활용해 작업자 식별 및 메트릭 수집을 수행합니다.
• 워크플로우 편집기를 통해 작업 순서, 데이터 흐름, 실험 그룹 할당을 정의하며, 순차적 및 병렬 실행 모두를 지원합니다.
• 자격 제어 정책을 통해 조건 교차를 방지하고 재방문 작업자를 관리함으로써 청결한 실험 그룹을 확보합니다.
• 인구 통계학적 관리 기능을 통해 요청자(요청자)가 특정 작업자 하위 집단(예: 국가, 신뢰 수준 등)에 할당된 정원을 설정할 수 있어 특정 인구 집단의 지배를 방지합니다.
• 시간 샘플링을 통해 작업 실행을 여러 시간 창에 걸쳐 배포함으로써 일시적 요인(예: 일일 시간대, 플랫폼 활동 수준 변동)이 미치는 혼란 요인을 줄입니다.
• 시스템은 실험 워크플로우를 분석하고, 대상 플랫폼에 관련 데이터 유닛, 지침, 골드 표준이 포함된 개별 작업을 자동으로 배포합니다.

실험 결과

연구 질문

• RQ1 작업자 반복 참여가 작업 설계 평가에 얼마나 큰 편향을 유도하는가? 이는 결정 시간과 정확성에 어떤 영향을 미치는가?
• RQ2 작업자가 여러 작업 조건을 경험하는 조건 교차가 성능과 작업 지원 기능에 대한 신뢰도에 어떤 영향을 미치는가?
• RQ3 일시적 요인(예: 일일 시간대, 플랫폼 활동 수준)의 변화가 동일한 작업 조건을 반복 실행했을 때 작업자 성능 일관성에 어떤 영향을 미치는가?
• RQ4 특정 국가의 지배가 두드러지는 인구 통계학적 불균형(예: 국가 지배)이 작업 설계 비교의 타당성에 얼마나 큰 영향을 미치는가?
• RQ5 통제된 실험 프레임워크는 비통제된 커뮤니티 소싱 평가 대비 데이터 유용성 손실을 얼마나 줄일 수 있는가?

주요 결과

• 비통제 평가에서 반복 작업자는 전체 데이터셋의 38%를 차지했으며, 결정 시간은 짧아졌지만 정확도 향상은 유의미하지 않아 성능 향상 없이 학습 효과가 나타나는 것으로 나타났습니다.
• 특히 낮은 강조 기능에서 높은 강조 기능으로 이동한 조건 교차 작업자들은 결정 시간이 증가했으며, 이는 지원 기능에 대한 신뢰 감소로 인한 인지적 편향일 가능성이 높습니다.
• 동일한 조건을 반복 실행했을 때 성능 변동성(예: 결정 시간 14초에서 24초로 변화)은 비통제 환경에서 시간대 및 플랫폼 활동 수준의 혼란 요인이 비교를 어렵게 함을 보여줍니다.
• 기여도가 높은 상위 3개 국가(Venezuela, Egypt, Ukraine)가 총 판단의 48.1%를 차지하여 비통제 실험에서 결과를 왜곡시킬 수 있는 강력한 인구 통계학적 불균형이 있음을 시사합니다.
• 비통제 평가에서는 실험적 편향으로 인해 최대 38%의 데이터셋 유용성 손실이 발생할 수 있으며, 이는 통제된 프레임워크의 필요성을 강조합니다.
• CrowdHub는 자격 제어, 인구 통계학적 할당량, 시간 샘플링을 통해 이러한 편향을 성공적으로 완화하여 보다 신뢰성 있고 효율적인 작업 설계 평가를 가능하게 했습니다.