[论文解读] CrowdSim: A Hybrid Simulation Model for Failure Prediction in Crowdsourced Software Development

Razieh Saremi, Ye Yang+3 more|arXiv (Cornell University)|Mar 17, 2021

Mobile Crowdsensing and Crowdsourcing参考文献 51被引用 5

一句话总结

CrowdSim 是一种混合仿真模型，通过整合系统动力学（宏观层面）、离散事件仿真（中观层面）和基于代理的建模（微观层面），预测众包软件开发中的任务失败。结果表明，任务相似性和中等经验水平的工作者显著降低失败风险，使管理者能够优化调度以提高成功率。

ABSTRACT

A typical crowdsourcing software development(CSD) marketplace consists of a list of software tasks as service demands and a pool of freelancer developers as service suppliers. Highly dynamic and competitive CSD market places may result in task failure due to unforeseen risks, such as increased competition over shared worker supply, or uncertainty associated with workers' experience and skills, and so on. To improve CSD effectiveness, it is essential to better understand and plan with respect to dynamic worker characteristics and risks associated with CSD processes. In this paper, we present a hybrid simulation model, CrowdSim, to forecast crowdsourcing task failure risk in competitive CSD platforms. CrowdSim is composed of three layered components: the macro-level reflects the overall crowdsourcing platform based on system dynamics,the meso-level represents the task life cycle based on discrete event simulation, and the micro-level models the crowd workers' decision-making processes based on agent-based simulation. CrowdSim is evaluated through three CSD decision scenarios to demonstrate its effectiveness, using a real-world historical dataset and the results demonstrate CrowdSim's potential in empowering crowdsourcing managers to explore crowdsourcing outcomes with respect to different task scheduling options.

研究动机与目标

• 解决众包软件开发中因动态工人行为和资源竞争导致的高失败率（15.7%）问题。
• 克服静态调度方法的局限性，后者忽略了工人经验、任务相似性和竞争等动态因素。
• 为管理者提供一个仿真框架，用于在部署前评估调度策略。
• 整合多层级仿真，以建模平台级动态、任务生命周期和个体工人决策行为。
• 实现主动风险评估和战略性任务调度，以提高竞争性 CSD 平台中的任务成功率。

提出的方法

• 采用三层混合仿真架构：宏观层面的系统动力学（SDS）用于建模平台级趋势，中观层面的离散事件仿真（DES）用于建模任务生命周期事件，微观层面的基于代理的仿真（ABS）用于建模工人决策行为。
• 利用系统动力学建模整体供需平衡以及任务提供者、工人和平台政策之间的平台级反馈回路。
• 应用离散事件仿真，通过带时间戳的事件建模任务到达、注册、提交和完成过程。
• 实施基于代理的仿真，根据个人效用、技能匹配度、任务相似性和经验水平来建模个体工人的行为。
• 整合先前研究中关于工人行为、任务完成情况和团队绩效的实证数据，以参数化模型。
• 将三种仿真层级相结合，以仿真端到端的 CSD 过程，并在现实条件下评估不同调度场景。

实验结果

研究问题

• RQ1 在竞争性 CSD 平台中，任务相似性和工人经验如何影响任务失败风险？
• RQ2 在动态、高竞争的 CSD 环境中，哪些调度策略可降低任务失败的可能性？
• RQ3 与静态调度方法相比，混合仿真模型在预测任务结果方面的有效性如何？
• RQ4 工人动机和技能匹配在任务成功或失败中扮演何种角色？
• RQ5 基于仿真的分析能否帮助管理者在任务部署前预见并缓解风险？

主要发现

• 平台中任务相似性程度越高，失败预测的准确性显著提高，表明相似任务能吸引更一致的参与。
• 吸引中等经验水平的工人可显著降低任务失败预测率，因为他们比新手或专家更具动力和能力。
• 中等经验工人实现了更高的任务提交率，表明他们在竞争环境中是更可靠的贡献者。
• 混合仿真模型有效捕捉了任务调度、工人行为与平台级风险之间的动态交互。
• CrowdSim 使管理者能够利用真实世界的历史数据，探索和比较不同场景下的调度结果。
• 任务开放度——由相似性和可及性定义——成为降低失败风险的关键因素，支持战略性任务捆绑与调度。