[논문 리뷰] Optimizing Open-Ended Crowdsourcing: The Next Frontier in Crowdsourced Data Management

Aditya Parameswaran, Akash Das Sarma외 1명|arXiv (Cornell University)|2016. 10. 17.

Mobile Crowdsensing and Crowdsourcing인용 수 9

한 줄 요약

이 논문은 자유형 답변을 제공하는 개방형 컨소시엄을 최적화하기 위한 공식적 프레임워크를 제안한다. 이는 집계, 품질 추정, 작업 설계와 같은 과제를 다루며, 상관된 판단의 확률적 모델링, 속성으로의 계층적 드릴다운, 전사 작업을 위한 시퀀스 정렬 기법을 제안함으로써 실제 응용 사례(예: 이미지 검출, 텍스트 전사)에서 단순한 방법에 비해 뚜렷한 정확도 향상을 달성한다.

ABSTRACT

Crowdsourcing is the primary means to generate training data at scale, and when combined with sophisticated machine learning algorithms, crowdsourcing is an enabler for a variety of emergent automated applications impacting all spheres of our lives. This paper surveys the emerging field of formally reasoning about and optimizing open-ended crowdsourcing, a popular and crucially important, but severely understudied class of crowdsourcing---the next frontier in crowdsourced data management. The underlying challenges include distilling the right answer when none of the workers agree with each other, teasing apart the various perspectives adopted by workers when answering tasks, and effectively selecting between the many open-ended operators appropriate for a problem. We describe the approaches that we've found to be effective for open-ended crowdsourcing, drawing from our experiences in this space.

연구 동기 및 목표

• 실제 응용에서 점점 더 널리 사용되고 있음에도 불구하고, 아직 연구가 부족한 개방형 컨소시엄 최적화의 핵심적 격차를 메운다.
• 공동 합의가 없는 다양한 반복되지 않는 자유형 답변(예: 전사, 경계 상자)을 집계하는 데 도전한다.
• 이전 결과와 작업자 행동을 기반으로 동적으로 작업을 선택하는 지능적인 워크플로우를 설계하여 데이터 품질을 향상시키고 비용을 절감한다.
• 비정형 인간 입력을 효과적으로 활용하여 현대 기계 학습 모델을 위한 세밀한 고품질 훈련 데이터를 제공한다.
• 기본적인 부울 작업을 넘어서 복잡한 실세계 데이터 수집 문제(예: 검출, 군집화, 전사)를 지원하는 전통적 컨소시엄 최적화를 확장한다.

제안 방법

• 독립된 답변 가정에 비해 정확도를 향상시키기 위해 Plackett-Luce 모델을 활용해 상관된 작업자 판단을 포괄하는 확률적 모델을 제안한다.
• 넓은 질문(예: '음악가를 제공하라')에서 시작하여 특정 속성(예: '시카고에 있는 드러머')으로의 계층적 드릴다운 방식의 작업 선택 기법을 도입한다. 이는 데이터 희소성 문제를 해결하기 위해 설계된다.
• 생물정보학에서 사용하는 다중 시퀀스 정렬 알고리즘을 활용해 다수의 작업자로부터의 자유형 전사 결과를 정렬하고 공통된 결과로 융합한다.
• 결정 이론 프레임워크를 활용해 동적 작업 라우팅을 지도하며, 이전 결과와 불확실성 감소를 기반으로 다음 최적의 질문을 선택한다.
• 외부 자료원(예: 텍스트 검색 엔진)으로부터의 사전 지식을 통합하여 컨소시엄 기반 검색 작업에서 검색 및 필터링을 안내한다.
• 무제한의 자유형 응답을 허용하는 개방형 연산자 설계를 통해 부울 대비 더 풍부한 데이터 수집을 가능하게 한다.

실험 결과

연구 질문

• RQ1 공동 합의가 없는 자유형, 반복되지 않는 작업자 답변을 효과적으로 집계하는 방법은 무엇인가?
• RQ2 비용을 최소화하고 데이터 품질을 최대화하기 위해 동적으로 가장 정보성 있는 개방형 작업을 선택하는 전략은 무엇인가?
• RQ3 답변이 상호 독립이 아닐 경우, 작업자 판단 간의 상관관계를 어떻게 모델링하고 활용할 수 있는가?
• RQ4 계층적 속성 기반 작업 분해 방식이 데이터 희소성 감소와 커버리지 향상에 미치는 영향은 무엇인가?
• RQ5 확률적 모델링과 시퀀스 정렬 기법을 자유형 전사 작업의 정확도 향상에 효과적으로 적용할 수 있는가?

주요 결과

• 공백 작업에서 독립된 답변 가정에 비해 상관된 판단을 모델링하는 Plackett-Luce 모델이 정확도를 뚜렷이 향상시켰다.
• 속성 조합으로의 계층적 드릴다운 기법이 데이터 희소성을 감소시키고 희귀 엔티티 조합의 커버리지를 향상시켰다.
• 작업자 전사 결과에 다중 시퀀스 정렬 기법을 적용한 결과, 단순 융합 전략에 비해 정확도가 크게 향상되었다.
• 개방형 컨소시엄 워크플로우 최적화로 동일한 비용 내에서 고품질 레이블 데이터의 수가 수개의 주요 증가를 이끌었으며, 이는 기계 학습 모델의 성능 향상으로 이어졌다.
• 최적의 질문 선택 문제의 NP-완전성은 공식적으로 입증되었지만, 실용적인 드릴다운 접근 방식이 실제 적용에서 매우 효과적인 것으로 입증되었다.
• 개방형 컨소시엄은 시각 및 자연어 처리 분야에서 현대 기계 학습 모델의 발전을 위해 필수적인 세밀한 훈련 데이터를 제공한다.