[논문 리뷰] CrowdSim: A Hybrid Simulation Model for Failure Prediction in Crowdsourced Software Development

Razieh Saremi, Ye Yang외 3명|arXiv (Cornell University)|2021. 03. 17.

Mobile Crowdsensing and Crowdsourcing참고 문헌 51인용 수 5

한 줄 요약

CrowdSim은 시스템 동역학(거시 수준), 이산 사건 시뮬레이션(중간 수준), 에이전트 기반 모델링(미세 수준)을 통합하여 군중 기반 소프트웨어 개발에서 작업 실패를 예측하는 하이브리드 시뮬레이션 모델이다. 이 모델은 작업 유사도와 중간 수준의 경험이 풍부한 작업자들이 실패 위험을 크게 감소시킨다는 것을 입증하며, 이는 관리자가 성공률을 높이기 위해 스케줄링을 최적화하는 데 기여한다.

ABSTRACT

A typical crowdsourcing software development(CSD) marketplace consists of a list of software tasks as service demands and a pool of freelancer developers as service suppliers. Highly dynamic and competitive CSD market places may result in task failure due to unforeseen risks, such as increased competition over shared worker supply, or uncertainty associated with workers' experience and skills, and so on. To improve CSD effectiveness, it is essential to better understand and plan with respect to dynamic worker characteristics and risks associated with CSD processes. In this paper, we present a hybrid simulation model, CrowdSim, to forecast crowdsourcing task failure risk in competitive CSD platforms. CrowdSim is composed of three layered components: the macro-level reflects the overall crowdsourcing platform based on system dynamics,the meso-level represents the task life cycle based on discrete event simulation, and the micro-level models the crowd workers' decision-making processes based on agent-based simulation. CrowdSim is evaluated through three CSD decision scenarios to demonstrate its effectiveness, using a real-world historical dataset and the results demonstrate CrowdSim's potential in empowering crowdsourcing managers to explore crowdsourcing outcomes with respect to different task scheduling options.

연구 동기 및 목표

• 동적인 작업자 행동과 자원 경쟁으로 인해 발생하는 높은 실패율(15.7%) 문제를 해결하기 위해.
• 작업자 경험, 작업 유사도, 경쟁 요인과 같은 동적 요소를 忽시하는 정적 스케줄링 방법의 한계를 극복하기 위해.
• 배포 이전에 스케줄링 전략을 평가할 수 있는 시뮬레이션 프레임워크를 제공하기 위해.
• 플랫폼 전체의 역동성, 작업 수명 주기, 개별 작업자 의사결정을 모델링하기 위해 다수준 시뮬레이션을 통합하기 위해.
• 사전 위험 평가 및 전략적 작업 스케줄링을 통해 경쟁적인 CSD 플랫폼에서 작업 성공률을 향상시키기 위해.

제안 방법

• 거시 수준 시스템 동역학(SDS)을 활용해 플랫폼 전체의 추세를 모델링하고, 중간 수준 이산 사건 시뮬레이션(DES)을 통해 작업 수명 주기 이벤트를 모델링하며, 미세 수준 에이전트 기반 시뮬레이션(ABS)을 통해 작업자 의사결정을 모델링하는 3층 구조의 하이브리드 시뮬레이션 아키텍처를 사용한다.
• 시스템 동역학을 활용해 작업 제공자, 작업자, 플랫폼 정책 간의 전체 수요-공급 균형과 플랫폼 수준의 피드백 루프를 모델링한다.
• 이산 사건 시뮬레이션을 통해 시간 스탬프가 부여된 작업 도착, 등록, 제출, 완료 프로세스를 모델링한다.
• 에이전트 기반 시뮬레이션을 통해 개인의 유틸리티, 기술 매칭, 작업 유사도, 경험 수준에 기반한 개별 작업자 행동을 모델링한다.
• 이전 연구에서 확보한 작업자 행동, 작업 완료, 팀 성과에 관한 실증 데이터를 활용해 모델의 매개변수를 설정한다.
• 세 가지 시뮬레이션 계층을 통합하여 현실적인 조건에서 종단 간 CSD 프로세스를 시뮬레이션하고 다양한 스케줄링 시나리오를 평가한다.

실험 결과

연구 질문

• RQ1 경쟁적인 CSD 플랫폼에서 작업 유사도와 작업자 경험은 작업 실패 위험에 어떤 영향을 미치는가?
• RQ2 다양하고 높은 경쟁이 발생하는 CSD 환경에서 작업 실패 확률을 낮추는 스케줄링 전략은 무엇인가?
• RQ3 정적 스케줄링 방법에 비해 하이브리드 시뮬레이션 모델이 작업 결과 예측에 얼마나 효과적인가?
• RQ4 작업자 동기부여와 기술 매칭은 작업 성공 또는 실패에 어떤 역할을 하는가?
• RQ5 시뮬레이션 기반 분석을 통해 관리자는 작업 배포 이전에 위험을 사전에 예측하고 완화할 수 있는가?

주요 결과

• 플랫폼 내 작업 유사도가 높을수록 실패 예측 정확도가 크게 향상되며, 이는 유사한 작업들이 일관된 참여를 유도한다는 것을 시사한다.
• 중간 수준의 경험이 풍부한 작업자를 유치할 경우 실패 예측 비율이 낮아지며, 이는 초보자나 전문가에 비해 더 높은 동기부여와 능력을 지녔기 때문이다.
• 중간 수준의 경험이 풍부한 작업자들은 더 높은 작업 제출 비율을 기록하며, 이는 경쟁 환경에서 더 신뢰할 수 있는 기여자라는 것을 시사한다.
• 하이브리드 시뮬레이션 모델은 작업 스케줄링, 작업자 행동, 플랫폼 수준의 위험 간의 동적 상호작용을 효과적으로 포착한다.
• CrowdSim은 실제 역사적 데이터를 기반으로 다양한 시나리오 간의 스케줄링 결과를 탐색하고 비교할 수 있도록 관리자에게 기능을 제공한다.
• 작업 개방성(유사도와 접근 가능성 기반)은 실패 위험 감소의 핵심 요소로 부상하며, 전략적 작업 묶음 및 스케줄링 전략 수립을 뒷받침한다.