[论文解读] Optimizing Open-Ended Crowdsourcing: The Next Frontier in Crowdsourced Data Management

Aditya Parameswaran, Akash Das Sarma+1 more|arXiv (Cornell University)|Oct 17, 2016

Mobile Crowdsensing and Crowdsourcing被引用 9

一句话总结

本文提出了一种用于优化开放式众包的正式框架——其中工作者提供自由格式的回答——解决了聚合、质量估计和任务设计方面的挑战。该研究提出了一系列技术，如利用Plackett-Luce模型对相关判断进行概率建模、通过分层钻取方式深入分析属性，以及应用序列比对技术进行转录处理，在真实应用场景（如图像检测和文本转录）中，显著优于简单方法的准确率。

ABSTRACT

Crowdsourcing is the primary means to generate training data at scale, and when combined with sophisticated machine learning algorithms, crowdsourcing is an enabler for a variety of emergent automated applications impacting all spheres of our lives. This paper surveys the emerging field of formally reasoning about and optimizing open-ended crowdsourcing, a popular and crucially important, but severely understudied class of crowdsourcing---the next frontier in crowdsourced data management. The underlying challenges include distilling the right answer when none of the workers agree with each other, teasing apart the various perspectives adopted by workers when answering tasks, and effectively selecting between the many open-ended operators appropriate for a problem. We describe the approaches that we've found to be effective for open-ended crowdsourcing, drawing from our experiences in this space.

研究动机与目标

• 解决开放式众包优化中的关键空白问题，尽管其在现实应用中日益普及，但相关研究仍显不足。
• 克服在缺乏共识的情况下聚合多样化、非重复的自由格式答案（如转录内容、边界框）的挑战。
• 通过设计基于先前结果和工作者行为动态选择任务的智能工作流，提升数据质量并降低费用。
• 通过有效利用非结构化的人工输入，实现细粒度、高质量的训练数据，以支持现代机器学习模型。
• 将传统众包优化从布尔类型任务扩展至支持复杂现实世界数据采集问题，如目标检测、聚类和转录。

提出的方法

• 提出一种概率模型，利用Plackett-Luce模型捕捉工作者判断之间的相关性，相较于独立答案假设，显著提升了准确率。
• 引入一种分层钻取式任务选择方法，从宽泛查询（如“提供一位音乐人”）开始，逐步细化至具体属性（如“芝加哥的一位鼓手”），以应对数据稀疏性问题。
• 将来自生物信息学的多序列比对算法应用于多个工作者的自由格式转录内容，实现对齐与共识合并。
• 采用决策理论框架指导动态任务路由，基于先前结果和不确定性降低程度，选择下一个最优问题。
• 整合来自外部源（如文本搜索引擎）的先验知识，以指导众包辅助搜索工作负载中的搜索与过滤。
• 设计开放式操作符，允许工作者提供无限制的自由格式响应，从而实现比布尔类型替代方案更丰富的数据采集。

实验结果

研究问题

• RQ1 当缺乏共识时，如何有效聚合来自工作者的自由格式、非重复答案？
• RQ2 应采用何种策略动态选择最具信息量的开放式任务，以最小化成本并最大化数据质量？
• RQ3 当答案并非独立时，如何建模并利用工作者判断之间的相关性？
• RQ4 分层的、基于属性的任务分解对减少数据稀疏性并提升覆盖率有何影响？
• RQ5 概率模型与序列比对技术能否被有效适配，以提升开放式转录任务中的准确率？

主要发现

• 针对相关判断的Plackett-Luce模型在批量任务中显著优于独立答案假设，准确率大幅提升。
• 通过属性组合的分层钻取方法有效减少了数据稀疏性，并提升了罕见实体组合的覆盖率。
• 将序列比对技术应用于工作者转录内容，相较于简单合并策略，实现了显著的准确率提升。
• 优化开放式众包工作流使得在相同成本下获得的高质量标注数据提升了数个数量级，显著增强了机器学习模型的性能。
• 正式证明了最优问题选择问题是NP难的，但实际中采用的分层钻取方法被证明极为有效。
• 开放式众包对于生成细粒度训练数据至关重要，而这类数据正是推动视觉与自然语言处理领域现代机器学习模型发展的关键。