[论文解读] CDAS: A Crowdsourcing Data Analytics System

Xuan Liu, Meiyu Lu+4 more|arXiv (Cornell University)|Jun 30, 2012

Mobile Crowdsensing and Crowdsourcing参考文献 17被引用 40

一句话总结

CDAS 是一个众包数据分析系统，通过集成质量敏感的回答模型，优化人机协同数据分析中的准确率与成本。它采用两阶段方法——基于历史表现预测所需工人数，并通过在线投票验证结果，相比纯算法方法，在显著降低花费的同时实现了高准确率（例如，95%以上）。

ABSTRACT

Some complex problems, such as image tagging and natural language processing, are very challenging for computers, where even state-of-the-art technology is yet able to provide satisfactory accuracy. Therefore, rather than relying solely on developing new and better algorithms to handle such tasks, we look to the crowdsourcing solution -- employing human participation -- to make good the shortfall in current technology. Crowdsourcing is a good supplement to many computer tasks. A complex job may be divided into computer-oriented tasks and human-oriented tasks, which are then assigned to machines and humans respectively. To leverage the power of crowdsourcing, we design and implement a Crowdsourcing Data Analytics System, CDAS. CDAS is a framework designed to support the deployment of various crowdsourcing applications. The core part of CDAS is a quality-sensitive answering model, which guides the crowdsourcing engine to process and monitor the human tasks. In this paper, we introduce the principles of our quality-sensitive model. To satisfy user required accuracy, the model guides the crowdsourcing query engine for the design and processing of the corresponding crowdsourcing jobs. It provides an estimated accuracy for each generated result based on the human workers' historical performances. When verifying the quality of the result, the model employs an online strategy to reduce waiting time. To show the effectiveness of the model, we implement and deploy two analytics jobs on CDAS, a twitter sentiment analytics job and an image tagging job. We use real Twitter and Flickr data as our queries respectively. We compare our approaches with state-of-the-art classification and image annotation techniques. The results show that the human-assisted methods can indeed achieve a much higher accuracy. By embedding the quality-sensitive model into crowdsourcing query engine, we effectiv...[truncated].

研究动机与目标

• 解决尽管存在人为错误和差异性，仍确保众包数据分析高准确率的挑战。
• 通过智能估算实现目标准确率所需的工人数，降低众包处理成本。
• 设计一个查询引擎，利用历史工人表现和实时结果验证，动态平衡成本与质量。
• 通过真实世界数据，实现对情感分析和图像标注等复杂任务的众包实用化部署。

提出的方法

• 提出一种质量敏感的回答模型，包含两个子模型：预测模型与验证模型。
• 利用历史工人表现数据，估算为满足用户指定的准确率阈值所需的工作人数。
• 采用基于概率的模型，在任务执行前预测结果的准确率。
• 应用在线验证策略，逐步优化结果并减少结果聚合过程中的等待时间。
• 将模型集成到众包查询引擎中，将任务拆分为计算机处理与人工处理部分。
• 使用 Amazon Mechanical Turk 作为底层平台，负责工人分配与结果收集。

实验结果

研究问题

• RQ1 众包系统如何动态估算为实现目标准确率而所需的最少工人数，同时最小化成本？
• RQ2 哪些机制可确保在面对不可靠或恶意人类工人时的结果质量？
• RQ3 在线处理技术如何在保持结果准确率的同时减少响应时间？
• RQ4 在图像标注和情感分析等复杂任务中，人工辅助方法在多大程度上优于最先进的算法方法？

主要发现

• 质量敏感模型始终达到用户指定的准确率要求，如图 18 所示，所有测试案例的实际准确率均匹配或超过目标阈值。
• 该系统通过智能估算实现所需最少工人数，避免过度配置，同时保持高准确率，显著降低处理成本。
• 在图像标注任务中，人工辅助方法优于 ALIPR（一种最先进的算法方法），实现了更高的准确率和更低的成本。
• 在 Twitter 情感分析任务中，CDAS 仅使用少量工人即实现了超过 95% 的高准确率，验证了其在真实世界数据上的有效性。
• 在线验证策略通过逐步更新结果，显著减少了等待时间，提升了用户体验。
• 该系统成功在真实世界数据上部署了两个实际分析任务——Twitter 情感分析与图像标注，使用了真实的 Flickr 和 Twitter 数据，验证了其实际可行性。