[论文解读] Analytic Methods for Optimizing Realtime Crowdsourcing

Michael S. Bernstein, David R. Karger+2 more|arXiv (Cornell University)|Apr 13, 2012

Mobile Crowdsensing and Crowdsourcing参考文献 6被引用 65

一句话总结

本文提出一种基于排队论的分析框架，通过最小化工作者成本并满足性能目标，优化实时众包。该框架引入三项关键改进——保留金订阅、共享保留金池和预招募机制，将中位响应时间降低至500毫秒，突破用户流程的1秒认知阈值。

ABSTRACT

Realtime crowdsourcing research has demonstrated that it is possible to recruit paid crowds within seconds by managing a small, fast-reacting worker pool. Realtime crowds enable crowd-powered systems that respond at interactive speeds: for example, cameras, robots and instant opinion polls. So far, these techniques have mainly been proof-of-concept prototypes: research has not yet attempted to understand how they might work at large scale or optimize their cost/performance trade-offs. In this paper, we use queueing theory to analyze the retainer model for realtime crowdsourcing, in particular its expected wait time and cost to requesters. We provide an algorithm that allows requesters to minimize their cost subject to performance requirements. We then propose and analyze three techniques to improve performance: push notifications, shared retainer pools, and precruitment, which involves recalling retainer workers before a task actually arrives. An experimental validation finds that precruited workers begin a task 500 milliseconds after it is posted, delivering results below the one-second cognitive threshold for an end-user to stay in flow.

研究动机与目标

• 为解决实时众包系统中可扩展的成本/性能优化不足的问题。
• 使用排队论对基于保留金的招募机制进行建模，以准确预测等待时间和成本。
• 开发一种算法，在满足最大预期等待时间等性能约束的前提下，最小化工作者成本。
• 通过三种新颖技术对保留金模型进行评估与改进：保留金订阅、共享保留金池和预招募。
• 通过实证验证，预招募可实现亚秒级响应时间，满足用户参与的认知阈值要求。

提出的方法

• 将保留金系统建模为M/M/c队列，基于任务到达率和工人池大小分析预期等待时间和成本。
• 推导出一种优化算法，用于计算满足请求者最大预期等待时间或错过请求概率要求的最小保留金池规模。
• 引入保留金订阅机制，使工人可选择订阅推送通知，从而降低招募延迟。
• 提出跨请求者共享保留金池的方案，以提高资源利用率，降低个体成本和等待时间。
• 设计一种预招募策略，在任务到达前几毫秒召回保留金工人，显著缩短响应时间。
• 将放弃行为整合进队列模型中，以反映现实中工人在等待期间的流失情况。

实验结果

研究问题

• RQ1 在满足请求者性能要求（如最大预期等待时间）的前提下，最优的保留金池规模是多少，以实现成本最小化？
• RQ2 保留金订阅、共享池和预招募如何在响应时间和成本方面提升保留金模型的性能？
• RQ3 预招募能否将响应时间降低至用户流程的1秒认知阈值以下？
• RQ4 工人召回延迟如何影响系统性能？是否能在排队论框架内有效建模？
• RQ5 将排队模型与声誉系统结合，对工人响应速度和可靠性有何影响？

主要发现

• 预招募将中位响应时间降低至500毫秒，显著低于用户流程的1秒认知阈值。
• 在无预招募的情况下，标准保留金模型的中位响应时间为1.36秒，表明预招募带来45%的性能提升。
• 结合预招募的保留金模型实现中位响应时间0.5秒，证明在实践中实现亚秒级性能是可行的。
• 实证评估显示，等待时间与鼠标移动延迟之间相关性可忽略（R² = 0.001），表明无论等待时长如何，工人的反应速度保持一致。
• 共享保留金池和保留金订阅通过提升招募效率和工人可用性，同时降低了预期等待时间和成本。
• 队列模型能准确预测性能权衡，使请求者可根据成本和性能约束选择最优池规模。