[論文レビュー] CrowdSim: A Hybrid Simulation Model for Failure Prediction in Crowdsourced Software Development

Razieh Saremi, Ye Yang+3 more|arXiv (Cornell University)|Mar 17, 2021

Mobile Crowdsensing and Crowdsourcing参考文献 51被引用数 5

ひとこと要約

CrowdSimは、システムダイナミクス（マクロレベル）、離散イベントシミュレーション（メソレベル）、エージェントベースモデリング（マイクロレベル）を統合するハイブリッドシミュレーションモデルであり、クラウドソーシングソフトウェア開発におけるタスクの失敗を予測する。タスクの類似性と中程度の経験を持つ作業者が失敗リスクを顕著に低減することが示され、マネージャーが成功確率を高めるためのスケジューリングを最適化できる。

ABSTRACT

A typical crowdsourcing software development(CSD) marketplace consists of a list of software tasks as service demands and a pool of freelancer developers as service suppliers. Highly dynamic and competitive CSD market places may result in task failure due to unforeseen risks, such as increased competition over shared worker supply, or uncertainty associated with workers' experience and skills, and so on. To improve CSD effectiveness, it is essential to better understand and plan with respect to dynamic worker characteristics and risks associated with CSD processes. In this paper, we present a hybrid simulation model, CrowdSim, to forecast crowdsourcing task failure risk in competitive CSD platforms. CrowdSim is composed of three layered components: the macro-level reflects the overall crowdsourcing platform based on system dynamics,the meso-level represents the task life cycle based on discrete event simulation, and the micro-level models the crowd workers' decision-making processes based on agent-based simulation. CrowdSim is evaluated through three CSD decision scenarios to demonstrate its effectiveness, using a real-world historical dataset and the results demonstrate CrowdSim's potential in empowering crowdsourcing managers to explore crowdsourcing outcomes with respect to different task scheduling options.

研究の動機と目的

• 動的な作業者行動とリソース競合による、クラウドソーシングソフトウェア開発における高い失敗率（15.7％）を是正する。
• 作業者の経験、タスクの類似性、競合状況といった動的要因を無視する静的スケジューリング手法の限界を克服する。
• 実装前にスケジューリング戦略を評価できるシミュレーションフレームワークを提供する。
• プラットフォーム全体のダイナミクス、タスクライフサイクル、個々の作業者意思決定をモデル化するためのマルチレベルシミュレーションを統合する。
• 事前のリスク評価と戦略的タスクスケジューリングを可能にし、競合が激しいCSDプラットフォームにおけるタスク成功確率を向上させる。

提案手法

• マクロレベルのシステムダイナミクス（SDS）でプラットフォーム全体のトレンドを、メソレベルの離散イベントシミュレーション（DES）でタスクライフサイクルのイベントを、マイクロレベルのエージェントベースシミュレーション（ABS）で作業者意思決定を扱う三層構造のハイブリッドシミュレーションアーキテクチャを採用する。
• システムダイナミクスを用いて、タスク提供者、作業者、プラットフォームポリシー間の全体的な供給需要バランスとフィードバックループをモデル化する。
• 離散イベントシミュレーションを用いて、タイムスタンプ付きのイベントでタスクの到着、登録、提出、完了プロセスをモデル化する。
• エージェントベースシミュレーションを用いて、個人の利得、スキルの適合度、タスクの類似性、経験レベルに基づく個々の作業者の行動をモデル化する。
• 作業者行動、タスク完了、チームパフォーマンスに関する先行研究の実証データを活用し、モデルのパrameter化を行う。
• 三つのシミュレーション層を統合して、現実的な条件下でエンドツーエンドのCSDプロセスをシミュレートし、スケジューリングシナリオを評価する。

実験結果

リサーチクエスチョン

• RQ1 競合が激しいCSDプラットフォームにおいて、タスクの類似性と作業者の経験は、タスク失敗リスクにどのように影響するか？
• RQ2 動的で高競合なCSD環境において、タスク失敗の可能性を低減するスケジューリング戦略は何か？
• RQ3 静的スケジューリング手法と比較して、ハイブリッドシミュレーションモデルはタスクの成果予測にどの程度有効か？
• RQ4 作業者のモチベーションとスキルの適合度は、タスクの成功または失敗にどのような役割を果たすか？
• RQ5 シミュレーションベースの分析は、タスクの実装前にリスクを予測・緩和するのをマネージャーに支援できるか？

主な発見

• プラットフォーム全体でのタスク類似性の度合いが高くなると、失敗予測の正確性が顕著に向上し、類似したタスクはより一貫した参加を引きつけることが示された。
• 中程度の経験を持つ作業者を引きつけることで、失敗予測率が低下し、初心者や熟練者と比較してモチベーションと実行能力の両方が高いことが明らかになった。
• 中程度の経験を持つ作業者は、より高いタスク提出率を達成しており、競合環境においてより信頼できる貢献者であることが示された。
• ハイブリッドシミュレーションモデルは、タスクスケジューリング、作業者行動、プラットフォームレベルのリスクの間の動的相互作用を効果的に捉えている。
• CrowdSimは、実世界の歴史的データを用いて、異なるシナリオにおけるスケジューリング結果をマネージャーが探索・比較可能にする。
• タスクのオープンネス（類似性とアクセス可能性）が、失敗リスク低減の重要な要因として浮き彫りになった。これは、戦略的なタスクのバンドル化とスケジューリングを支援する。