[论文解读] Crowdsourcing Control: Moving Beyond Multiple Choice

Christopher H. Lin, Daniel S. Weld+1 more|arXiv (Cornell University)|Oct 16, 2012

Mobile Crowdsensing and Crowdsourcing参考文献 19被引用 34

一句话总结

本文提出 LazySusan，一种基于决策理论的控制器，通过一种新颖的概率图模型，动态管理自由回答任务（即结果未预先定义）的众包工作流。该方法利用期望最大化（EM）算法联合学习工作者可靠性与正确答案，在真实 Mechanical Turk 实验中，相较于多数投票法，在 SAT 数学题和可视化任务上将误差降低了 83.2%，并提升了净效用。

ABSTRACT

To ensure quality results from crowdsourced tasks, requesters often aggregate worker responses and use one of a plethora of strategies to infer the correct answer from the set of noisy responses. However, all current models assume prior knowledge of all possible outcomes of the task. While not an unreasonable assumption for tasks that can be posited as multiple-choice questions (e.g. n-ary classification), we observe that many tasks do not naturally fit this paradigm, but instead demand a free-response formulation where the outcome space is of infinite size (e.g. audio transcription). We model such tasks with a novel probabilistic graphical model, and design and implement LazySusan, a decision-theoretic controller that dynamically requests responses as necessary in order to infer answers to these tasks. We also design an EM algorithm to jointly learn the parameters of our model while inferring the correct answers to multiple tasks at a time. Live experiments on Amazon Mechanical Turk demonstrate the superiority of LazySusan at solving SAT Math questions, eliminating 83.2% of the error and achieving greater net utility compared to the state-ofthe-art strategy, majority-voting. We also show in live experiments that our EM algorithm outperforms majority-voting on a visualization task that we design.

研究动机与目标

• 解决现有众包模型的局限性，即假设结果空间是预定义的，这在多选题任务中常见，但在自由回答场景中并不适用。
• 开发一种系统，能够从开放式回答中推断正确答案，其中结果空间是无限或非结构化的。
• 设计一种基于决策理论的控制器，动态决定何时以及查询哪些工作者，以最小化成本与误差。
• 在可扩展的端到端框架中，利用 EM 算法联合学习工作者可靠性与真实答案。

提出的方法

• 提出一种概率图模型，用于捕捉自由回答任务中工作者的可靠性与响应不确定性。
• 设计一种基于决策理论的控制器（LazySusan），根据预期信息增益与成本选择最优查询。
• 采用 EM 算法迭代估计工作者参数并同时推断多个任务的正确答案。
• 将响应建模为连续或结构化输出，而非离散选择，从而支持对文本或音频等开放式输入的建模。
• 使用贝叶斯推断，随着新响应的收集，持续更新对正确答案的信念。
• 将工作者质量估计与主动学习相结合，以最小化冗余或低价值的工作者请求。

实验结果

研究问题

• RQ1 与静态多数投票法相比，动态的、查询优化的控制器是否能提升自由回答众包任务的准确率与效率？
• RQ2 在结果空间无限的开放式任务中，如何联合估计工作者可靠性与真实答案？
• RQ3 主动查询选择对降低众包推理任务中的误差与成本有何影响？
• RQ4 所提出的基于 EM 的学习框架能否在真实世界环境中有效扩展至多个自由回答任务？

主要发现

• 在真实 Mechanical Turk 实验中，LazySusan 相较于多数投票法，在 SAT 数学题上将误差降低了 83.2%。
• 该系统通过最小化不必要的工作者请求，实现了显著更高的净效用，优于多数投票法。
• EM 算法在自定义可视化任务上成功学习了工作者参数，并以高精度推断出正确答案。
• 概率模型有效捕捉了自由回答输出中的不确定性，而无需预定义答案集。
• 该控制器在多种任务类型中表现出强适应性，包括基于文本和视觉的推理任务。
• 结果表明，基于预期信息增益的动态查询选择策略，相比被动聚合方法，性能更优。