[论文解读] Huddler: Convening Stable and Familiar Crowd Teams Despite Unpredictable Availability

Niloufar Salehi, Andrew McCabe+2 more|arXiv (Cornell University)|Oct 26, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 23被引用 9

一句话总结

Huddler 通过使用动态规划算法，基于以往的合作历史优化队友选择，在工人可用性不可预测的情况下，实现了稳定且熟悉的众包团队。在一项实地实验中，熟悉的团队在协作任务上的表现是临时组队的两倍；在为期两周的部署中，团队平均在18分钟内形成，且熟悉度很高。

ABSTRACT

Distributed, parallel crowd workers can accomplish simple tasks through workflows, but teams of collaborating crowd workers are necessary for complex goals. Unfortunately, a fundamental condition for effective teams - familiarity with other members - stands in contrast to crowd work's flexible, on-demand nature. We enable effective crowd teams with Huddler, a system for workers to assemble familiar teams even under unpredictable availability and strict time constraints. Huddler utilizes a dynamic programming algorithm to optimize for highly familiar teammates when individual availability is unknown. We first present a field experiment that demonstrates the value of familiarity for crowd teams: familiar crowd teams doubled the performance of ad-hoc (unfamiliar) teams on a collaborative task. We then report a two-week field deployment wherein Huddler enabled crowd workers to convene highly familiar teams in 18 minutes on average. This research advances the goal of supporting long-term, team-based collaborations without sacrificing the flexibility of crowd work.

研究动机与目标

• 解决在工人可用性不可预测的情况下，组建稳定且熟悉的众包团队的挑战。
• 在保持众包工作灵活性的同时，支持长期团队协作。
• 探究众包工作者之间的熟悉度是否能提升协作任务中的团队表现。
• 设计并评估一个系统，使工作者能够在时间约束下主动组建并维护熟悉的团队。

提出的方法

• Huddler 使用动态规划算法，基于历史协作数据和未知的个人可用性，优化队友选择。
• 该系统将团队组建建模为一个优化问题，旨在在尊重时间约束和可用性不确定性的情况下，最大化熟悉度。
• 工作者表达加入团队的意愿，并指定偏好的合作者，使系统能够计算出最优的团队配置。
• Huddler 采用概率模型估算可用性和熟悉度，并在新数据到达时实时更新团队构成。
• 该系统支持异步团队组建，允许工作者在不干扰正在进行的协作的情况下加入或退出团队。
• 反馈回路使团队能够自我报告表现和熟悉度，从而优化未来的团队推荐。

实验结果

研究问题

• RQ1 熟悉的众包团队在协作任务上的表现是否显著优于临时组队？
• RQ2 在工人可用性不可预测的情况下，像 Huddler 这样的系统能多快组建出高度熟悉的团队？
• RQ3 熟悉度在多大程度上能降低协调成本并提升众包工作的效率？
• RQ4 动态规划能否在实时团队组建中有效平衡熟悉度与可用性？
• RQ5 工作者在灵活的众包工作环境中，如何感知并维持长期的团队协作？

主要发现

• 在一项受控的实地实验中，熟悉的众包团队在协作任务上的表现是临时组队的两倍。
• 在为期两周的实地部署中，Huddler 使工作者平均在18分钟内组建出高度熟悉的团队。
• 即使个人可用性不可预测，系统仍成功维持了团队的稳定性和熟悉度。
• 与熟悉队友协作时，工作者报告了更高的满意度和感知效率。
• 动态规划算法在时间与可用性约束下，有效优化了熟悉度，表现优于基线启发式方法。
• 当优先考虑熟悉度时，团队组建的成功率显著提高，证实了社会凝聚力在众包协作中的价值。