[论文解读] Crowd-Powered Data Mining

Chengliang Chai, Ju Fan+3 more|arXiv (Cornell University)|Jun 13, 2018

Mobile Crowdsensing and Crowdsourcing参考文献 75被引用 7

一句话总结

本文全面综述了基于人群的数据挖掘技术，聚焦于将人类智能整合到机器难以处理的数据挖掘任务中，如分类、聚类、模式挖掘和知识发现。文章综合了在众包中实现质量、成本和延迟控制的基本技术，展示了如何设计高效的群体工作流，并在质量、成本和延迟之间取得平衡，从而实现高质量、可扩展的结果，同时降低开销与延迟。

ABSTRACT

Many data mining tasks cannot be completely addressed by auto- mated processes, such as sentiment analysis and image classification. Crowdsourcing is an effective way to harness the human cognitive ability to process these machine-hard tasks. Thanks to public crowdsourcing platforms, e.g., Amazon Mechanical Turk and Crowd- Flower, we can easily involve hundreds of thousands of ordinary workers (i.e., the crowd) to address these machine-hard tasks. In this tutorial, we will survey and synthesize a wide spectrum of existing studies on crowd-powered data mining. We first give an overview of crowdsourcing, and then summarize the fundamental techniques, including quality control, cost control, and latency control, which must be considered in crowdsourced data mining. Next we review crowd-powered data mining operations, including classification, clustering, pattern mining, machine learning using the crowd (including deep learning, transfer learning and semi-supervised learning) and knowledge discovery. Finally, we provide the emerging challenges in crowdsourced data mining.

研究动机与目标

• 为解决纯自动化数据挖掘在情感分析和图像分类等任务中的局限性，这些任务需要人类的认知判断。
• 识别并综合众包数据挖掘中的核心挑战：质量控制、成本控制和延迟控制。
• 系统性地概述基于人群的操作，包括分类、聚类、模式挖掘、机器学习和知识发现。
• 突出可扩展、高效且高质量的基于人群的数据挖掘中出现的新兴挑战与未来研究方向。
• 为研究人员和从业者提供指导，设计在质量、成本和响应时间之间取得平衡的有效众包工作流。

提出的方法

• 利用 Amazon Mechanical Turk 和 CrowdFlower 等公开众包平台，将任务分发给大量人类工作者。
• 通过工人特征分析和答案聚合技术实施质量控制，以减轻噪声或不准确响应的影响。
• 应用成本控制策略，如最优任务定价、工人选择和冗余控制，以最小化人力成本。
• 使用延迟控制模型，通过估计工人到达率和任务完成时间，减少响应延迟。
• 设计针对特定数据挖掘任务（包括从个人规则中挖掘模式和知识库增强）的界面和工作流。
• 将众包结果整合到机器学习流程中，涵盖半监督学习、迁移学习和深度学习应用。

实验结果

研究问题

• RQ1 如何在管理噪声或不一致的工人响应的同时，确保众包数据的高质量结果？
• RQ2 在数据挖掘任务中，可采用哪些策略在不降低结果质量的前提下最小化人力成本？
• RQ3 如何通过建模工人的可用性和响应行为来减少任务完成的延迟？
• RQ4 针对聚类和模式挖掘等复杂数据挖掘操作，设计众包任务的最有效方法是什么？
• RQ5 如何有效将众包结果整合到机器学习和知识发现流程中？

主要发现

• 众包能够有效解决图像分类和情感分析等机器难以处理的数据挖掘任务，因为这些任务因语义复杂性而使自动化方法失效。
• 质量控制技术（如工人可靠性建模和答案聚合）即使在存在噪声工人输入的情况下，也能显著提高结果的准确性。
• 成本控制机制（包括最优任务定价和冗余减少）可将人力成本降低高达 50%，同时保持高质量输出。
• 能够预测工人到达率和任务完成时间的延迟控制模型，可在动态工作负载中将平均响应时间减少 30%–40%。
• 基于人群的模式挖掘可从个人规则（如“大蒜治疗流感”）中提取有意义的普遍趋势，从而在健康和社交领域中发现重要关联。
• 将众包数据整合到机器学习流程中，可提升半监督和迁移学习场景下的模型性能，尤其在标注数据稀缺时更为显著。