[논문 리뷰] It's about time: Online Macrotask Sequencing in Expert Crowdsourcing

Heinz Schmitz, Ioanna Lykourentzou|arXiv (Cornell University)|2016. 01. 15.

Mobile Crowdsensing and Crowdsourcing참고 문헌 29인용 수 4

한 줄 요약

이 논문은 전문가 중심의 커뮤니티에서 작업 할당 및 순서 매기기(Task Assignment and Sequencing, TAS) 문제를 제안하며, 향후 작업자 가용성 정보가 알려지지 않은 상황에서 시간 제약, 마감일, 예산 제약 하에 매크로작업 할당과 스케줄링을 최적화하는 온라인 알고리즘 tas-online을 제시한다. 향후 입력에 대한 지식이 없음에도 불구하고, 오프라인 기준 대비 더 높은 작업 완료율, 더 낮은 플로우 타임, 향상된 품질을 달성한다.

ABSTRACT

We introduce the problem of Task Assignment and Sequencing (TAS), which adds the timeline perspective to expert crowdsourcing optimization. Expert crowdsourcing involves macrotasks, like document writing, product design, or web development, which take more time than typical binary microtasks, require expert skills, assume varying degrees of knowledge over a topic, and require crowd workers to build on each other's contributions. Current works usually assume offline optimization models, which consider worker and task arrivals known and do not take into account the element of time. Realistically however, time is critical: tasks have deadlines, expert workers are available only at specific time slots, and worker/task arrivals are not known a-priori. Our work is the first to address the problem of optimal task sequencing for online, heterogeneous, time-constrained macrotasks. We propose tas-online, an online algorithm that aims to complete as many tasks as possible within budget, required quality and a given timeline, without future input information regarding job release dates or worker availabilities. Results, comparing tas-online to four typical benchmarks, show that it achieves more completed jobs, lower flow times and higher job quality. This work has practical implications for improving the Quality of Service of current crowdsourcing platforms, allowing them to offer cost, quality and time improvements for expert tasks.

연구 동기 및 목표

• 작업 마감일과 작업자 가용성과 같은 시간 제약를 통합함으로써 전문가 중심의 커뮤니티에서 최적화의 격차를 메우는 것.
• 미래의 작업자 및 작업 도착 정보가 알려지지 않은 상황에서 온라인 작업 할당 및 순서 매기기(TAS) 문제를 모델링하고 해결하는 것.
• 예산, 품질, 일정 제약 조건 내에서 완료된 작업 수를 최대화하는 온라인 알고리즘을 설계하는 것.
• 모의 환경과 실제 환경 모두에서 tas-online의 성능을 오프라인 및 온라인 기준 대비 평가하는 것.
• 최적화된 스케줄링을 통해 전문가 중심의 커뮤니티 플랫폼에서 서비스 품질을 향상시키는 실용적 프레임워크를 제공하는 것.

제안 방법

• 시간 제약 조건 하에서 작업자 할당과 일정 순서 매기기를 통합하는 강력한 NP-난이도 최적화 문제로 TAS 문제를 수식화한다.
• 매일의 작업자-작업 매칭을 계산하는 그리디 온라인 알고리즘인 tas-online을 제안하며, 단위 용량을 갖는 최소비용 유량 네트워크를 사용해 각 작업자당 한 번의 할당만을 보장한다.
• 작업자와 작업이 노드이고, 전문성과 가용성 기반으로 가능한 할당을 나타내는 간선이 존재하는 이분 그래프 모델을 사용한다.
• 미래의 정보를 알지 못하는 조건에서 현재의 가용성과 작업 출시 일자를 기반으로 동적으로 작업자에게 작업을 할당하는 매일의 매칭 절차를 적용한다.
• 예산 및 일정 제약 조건 하에서 높은 전문성과 높은 품질의 할당을 우선시하는 최소비용 유량 설정에서 가중치 매칭 메커니즘을 활용한다.
• 동적 전문성 업데이트, 품질 집계 메커니즘, 다중 작업 할당 제약 조건(예: 하루에 여러 작업을 한 명의 작업자에게 할당) 등의 수정 가능한 구성 요소를 통해 확장성을 지원한다.

실험 결과

연구 질문

• RQ1 미래의 입력 정보가 알려지지 않은 상황에서 시간 제약 조건과 함께 전문가 중심의 커뮤니티에서 작업 할당 및 순서 매기기를 어떻게 공동 최적화할 수 있는가?
• RQ2 미래의 작업자 및 작업 데이터가 알려지지 않은 상황에서 온라인 알고리즘이 오프라인 기준 대비 작업 완료율, 플로우 타임, 품질 측면에서 뛰어난 성능을 내는가?
• RQ3 마감일과 작업자 가용성과 같은 일정 제약 조건을 통합할 경우 전문가 중심의 커뮤니티 시스템의 성능에 어떤 영향을 미치는가?
• RQ4 실제 환경과 모의 환경에서 tas-online은 표준 온라인 및 오프라인 기준 대비 어떻게 비교되는가?
• RQ5 실제 환경에 더 잘 적응하기 위해 TAS 모델에 어떤 확장 기능을 도입할 수 있는가? (예: 기계 학습 기반의 전문성 진화 또는 하루에 여러 작업 할당)

주요 결과

• tas-online은 이론적 상한선에 비해 절대적 수치와 백분율 모두에서 네 가지 기준 알고리즘보다 훨씬 더 많은 작업 완료 수를 달성한다.
• 모든 기준 대비 평균 플로우 타임(작업 출시 후 최종 할당까지의 시간)을 단축시켜 더 빠른 작업 해결을 나타낸다.
• tas-online은 예산 제약 조건 내에서 경쟁 기법보다 더 높은 예산 활용도를 보이며, 더 많은 작업을 완료한다.
• tas-online 하에서 완료된 작업의 품질은 다른 방법보다 뛰어나며, 유일하게 오프라인 버전과 유사한 수준의 품질을 확보한다. 이는 온라인 제약 조건 하에서도 뛰어난 성능을 내는 것을 의미한다.
• 실제 환경 실험에서, 품질 집계가 고정된 지표가 아닌 커뮤니티 평가 기반일지라도 tas-online은 베이스라인 대비 작업 완료율과 품질에서 뛰어난 성능을 보였다.
• 동적 조건, 예를 들어 변화하는 작업자 전문성과 시간에 따라 변하는 작업 가용성 하에서도, 온라인 및 점진적 설계 덕분에 tas-online은 뛰어난 강건성을 유지한다.