[论文解读] It's about time: Online Macrotask Sequencing in Expert Crowdsourcing

Heinz Schmitz, Ioanna Lykourentzou|arXiv (Cornell University)|Jan 15, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 29被引用 4

一句话总结

本文提出了专家众包中的任务指派与排序（TAS）问题，提出了一种在线算法 tas-online，该算法在时间约束、截止日期及未来工人可用性未知的条件下，优化宏观任务的指派与调度。即使缺乏对未来输入的了解，tas-online 在作业完成率、流程时间与质量方面仍优于离线基准方法。

ABSTRACT

We introduce the problem of Task Assignment and Sequencing (TAS), which adds the timeline perspective to expert crowdsourcing optimization. Expert crowdsourcing involves macrotasks, like document writing, product design, or web development, which take more time than typical binary microtasks, require expert skills, assume varying degrees of knowledge over a topic, and require crowd workers to build on each other's contributions. Current works usually assume offline optimization models, which consider worker and task arrivals known and do not take into account the element of time. Realistically however, time is critical: tasks have deadlines, expert workers are available only at specific time slots, and worker/task arrivals are not known a-priori. Our work is the first to address the problem of optimal task sequencing for online, heterogeneous, time-constrained macrotasks. We propose tas-online, an online algorithm that aims to complete as many tasks as possible within budget, required quality and a given timeline, without future input information regarding job release dates or worker availabilities. Results, comparing tas-online to four typical benchmarks, show that it achieves more completed jobs, lower flow times and higher job quality. This work has practical implications for improving the Quality of Service of current crowdsourcing platforms, allowing them to offer cost, quality and time improvements for expert tasks.

研究动机与目标

• 为填补专家众包优化中的空白，通过整合时间约束（如任务截止日期与工人可用性）来解决该问题。
• 对在线任务指派与排序（TAS）问题进行建模与求解，其中未来工人与任务到达信息未知。
• 设计一种在线算法，以在预算、质量与时间约束下最大化已完成作业数。
• 在模拟与真实世界环境中，评估 tas-online 相较于离线与在线基准的性能表现。
• 通过优化调度，为提升专家众包平台的服务质量提供实用框架。

提出的方法

• 将 TAS 问题形式化为强 NP-难优化任务，整合在时间约束下的工人指派与时间序列排序。
• 提出 tas-online，一种贪心在线算法，通过单位容量的最小费用流网络计算每日工人-任务匹配，以确保每位工人在每个时间槽仅被指派一次。
• 采用二分图模型，其中工人与任务为节点，边表示基于专业知识与可用性的可行指派。
• 应用每日匹配机制，根据当前可用性与任务发布日期动态指派工人，无需未来信息。
• 在最小费用流公式中采用加权匹配机制，优先考虑高专业度与高质量指派，同时满足预算与时间约束。
• 通过可修改组件（如动态专业知识更新、质量聚合机制、放宽的指派约束，例如每日允许多个任务）支持可扩展性。

实验结果

研究问题

• RQ1 在时间约束与未来输入未知的条件下，如何联合优化专家众包中的任务指派与排序？
• RQ2 当未来任务与工人数据未知时，在作业完成率、流程时间与质量方面，在线算法是否能优于离线基准？
• RQ3 引入时间约束（如截止日期与工人可用性）对专家众包系统性能有何影响？
• RQ4 在真实世界与模拟的专家众包工作负载中，tas-online 与标准在线及离线基准相比表现如何？
• RQ5 对 TAS 模型的哪些扩展可提升其在现实场景中的适应性，例如基于学习的专业知识演化或多任务指派？

主要发现

• tas-online 在绝对数量与理论上限的百分比方面，均显著优于四种基准算法，完成的作业数量更多。
• 与所有基准相比，该算法降低了平均流程时间（即从任务发布到最终指派的时间），表明任务解决速度更快。
• tas-online 展现出更优的预算利用率，在相同预算约束下完成更多作业，优于竞争方法。
• tas-online 完成作业的质量更高，仅与算法的离线版本相当，表明其在在线约束下表现强劲。
• 在真实世界实验中，即使质量聚合基于众包评估而非固定指标，tas-online 在作业完成率与质量方面仍优于基线。
• 由于其在线、增量式设计，该算法在动态条件下（如工人专业知识演变与任务可用性随时间变化）仍保持稳健。