[论文解读] Engineering Crowdsourced Stream Processing Systems

Muhammad Imran, Ioanna Lykourentzou+2 more|arXiv (Cornell University)|Oct 21, 2013

Mobile Crowdsensing and Crowdsourcing参考文献 78被引用 23

一句话总结

本文提出了一套全面的众包流处理（CSP）系统工程框架，将人类智能与自动化流处理相结合，以在实时、时间敏感的应用中提升准确性和效率。该框架提出了设计原则、评估指标、可扩展的架构及设计模式，并通过AIDR案例研究进行了验证，结果表明该系统在分类准确率上优于纯流处理系统，同时相比纯众包方案显著降低了人力投入。

ABSTRACT

A crowdsourced stream processing system (CSP) is a system that incorporates crowdsourced tasks in the processing of a data stream. This can be seen as enabling crowdsourcing work to be applied on a sample of large-scale data at high speed, or equivalently, enabling stream processing to employ human intelligence. It also leads to a substantial expansion of the capabilities of data processing systems. Engineering a CSP system requires the combination of human and machine computation elements. From a general systems theory perspective, this means taking into account inherited as well as emerging properties from both these elements. In this paper, we position CSP systems within a broader taxonomy, outline a series of design principles and evaluation metrics, present an extensible framework for their design, and describe several design patterns. We showcase the capabilities of CSP systems by performing a case study that applies our proposed framework to the design and analysis of a real system (AIDR) that classifies social media messages during time-critical crisis events. Results show that compared to a pure stream processing system, AIDR can achieve a higher data classification accuracy, while compared to a pure crowdsourcing solution, the system makes better use of human workers by requiring much less manual work effort.

研究动机与目标

• 解决纯自动化流处理系统在实时决策中面对噪声数据、未见数据或概念漂移数据时的局限性。
• 通过在高速数据流中整合人类智能与自动化处理，克服纯众包方案在吞吐量和成本方面的限制。
• 开发一种系统化、可复用的框架，用于设计CSP系统，以在多样化的现实应用场景中平衡质量、成本与延迟。
• 提供分类法、设计原则、评估指标及设计模式，以指导构建稳健、可扩展的CSP应用。
• 通过AIDR案例研究展示该框架的实际价值，AIDR是一个用于在危机事件中分类社交媒体数据的系统。

提出的方法

• 基于系统级属性与行为，提出CSP系统的分类法，将其与传统流处理和纯众包方案区分开来。
• 定义一组设计原则，指导人类与机器计算的集成，重点强调动态任务控制与自适应工人管理。
• 提出一个包含模块化组件的框架，用于系统架构设计，包括任务规划、工人分配、质量评估与延迟控制。
• 开发用于质量（准确率）、成本（工人投入）与速度（延迟）的评估指标，支持CSP设计方案的定量比较。
• 基于真实CSP系统中反复出现的架构解决方案，提出设计模式，如动态任务路由与质量感知冗余。
• 通过AIDR案例研究验证该框架，应用该框架对基于社交媒体数据的现实危机响应系统进行设计与分析。

实验结果

研究问题

• RQ1 如何在高速流处理系统中有效且高效地整合人类智能，以在时间敏感场景中提升决策能力？
• RQ2 构建可扩展、高准确率且成本可控的CSP系统所必需的设计原则与架构模式是什么？
• RQ3 如何系统地定义并应用质量、成本与延迟的评估指标，以比较不同CSP系统设计方案？
• RQ4 与纯流处理或纯众包方案相比，将自动化处理与众包相结合在现实危机检测中的性能提升程度如何？
• RQ5 哪些关键的结构性与行为性组件能够支持CSP系统在动态数据与工人条件下的稳健与自适应运行？

主要发现

• 基于该框架构建的AIDR系统，在处理危机期间的噪声数据或概念漂移数据时，其数据分类准确率高于纯流处理系统。
• 与纯众包方案相比，AIDR通过智能地仅将关键或模糊的任务路由给人工处理，显著减少了人工工作量，提升了成本效率。
• 该框架的评估指标支持对系统性能的定量评估，表明CSP系统在平衡质量、成本与延迟方面优于孤立的解决方案。
• 如动态任务控制与质量感知冗余等设计模式，被证明可增强实时环境下的系统适应性与性能。
• 将人类智能整合到流处理中可减少对预训练模型的依赖，从而缓解现实应用中因概念漂移与领域偏移带来的问题。
• 该框架支持CSP系统的系统化设计与重构，为未来开发专用分类法、评估指标与模式图谱奠定了基础。