[논문 리뷰] Recruiting Software Engineers on Prolific

Daniel Russo|arXiv (Cornell University)|2022. 03. 28.

Mobile Crowdsensing and Crowdsourcing인용 수 6

한 줄 요약

이 논문은 표본 편향을 완화하고 실증 소프트웨어 공학 연구에서 통계적 검정력을 확보하기 위해 Prolific 커뮤니티 채용 플랫폼을 활용하는 실용적인 프레임워크를 제시한다. 사전 선별 기준, 피LOT 검증, 주의력 점검을 조합함으로써 연구자들은 효율적으로 대표성 있고 고도로 품질이 높은 표본을 확보할 수 있으며, 사전 분석을 통해 최적의 표본 크기를 결정해 제1종 오류와 제2종 오류를 최소화할 수 있다.

ABSTRACT

Recruiting participants for software engineering research has been a primary concern of the human factors community. This is particularly true for quantitative investigations that require a minimum sample size not to be statistically underpowered. Traditional data collection techniques, such as mailing lists, are highly doubtful due to self-selection biases. The introduction of crowdsourcing platforms allows researchers to select informants with the exact requirements foreseen by the study design, gather data in a concise time frame, compensate their work with fair hourly pay, and most importantly, have a high degree of control over the entire data collection process. This experience report discusses our experience conducting sample studies using Prolific, an academic crowdsourcing platform. Topics discussed are the type of studies, selection processes, and power computation.

연구 동기 및 목표

• 기존 방법에서 흔한 자발적 선택 편향을 피하기 위해 실증 소프트웨어 공학 연구에 적합한 대표성 있는 소프트웨어 엔지니어를 채용하는 데 도전하는 것.
• 편의 표본 추출 및 학생을 대신 사용하는 것의 한계를 극복하여 연구 결과의 일반화 가능성을 훼손하지 않는 것.
• 엄격한 통계적 검정력 분석을 통해 적절한 표본 크기를 결정하여 표본 연구에서 통계적 검정력을 확보하는 것.
• 다중 비교를 다룰 때 알파 수준을 조정하여 제1종 오류 증가를 통제하고, Bonferroni와 같은 과도하게 보수적인 수정을 피하는 것.
• 학술용 커뮤니티 채용 플랫폼인 Prolific과 같은 곳에서 참가자 채용 및 데이터 수집을 반복 가능하고 체계적인 방법으로 수행하는 프로세스를 구축하는 것.

제안 방법

• 프로그래밍 능력, 일상적인 기술 사용, 승인률 ≥95% 등의 특정 인구통계학적 및 행동 기준을 충족하는 참가자를 Prolific 플랫폼을 통해 채용한다.
• 참가자의 집중력을 유지하고 데이터 수집 중 간섭을 줄이기 위해 데스크톱 전용 설문 접근 정책을 시행한다.
• 3개의 다중선택 문제로 구성된 시간 제한(1분) 피LOT 연구를 실시하여 사전 선별된 참가자들의 소프트웨어 공학 능력을 검증한다.
• 설문당 2~3개의 주의력 점검을 적용하여 무관심한 응답자를 걸러내고 데이터 품질을 향상시킨다.
• G*Power를 사용해 사전 또는 민감도 분 析를 수행하여 원하는 통계적 검정력과 효과 크기에 기반한 최소 표본 크기를 결정한다.
• 다중 가설 검정을 수행할 경우 제1종 오류 증가를 방지하기 위해 알파 수준을 조정(예: p < 0.003)하며, Bonferroni와 같은 과도한 보정을 피한다.

실험 결과

연구 질문

• RQ1 연구자들은 자발적 선택 편향을 최소화하고 참가자 품질을 확보하면서 Prolific에서 소프트웨어 엔지니어를 효과적으로 채용할 수 있는 방법은 무엇인가?
• RQ2 채용된 참가자가 진정으로 소프트웨어 엔지니어임을 확인하기 위해 사용할 수 있는 사전 선별 및 검증 기법은 무엇인가?
• RQ3 커뮤니티 기반 채용 플랫폼를 활용한 소프트웨어 엔지니어 전문가를 포함한 표본 연구에서 통계적 검정력을 어떻게 확보할 수 있는가?
• RQ4 실증 소프트웨어 공학 연구에서 다중 가설 검정을 수행할 경우 제1종 오류율을 효과적으로 통제하기 위한 전략은 무엇인가?
• RQ5 대표성과 데이터 품질 측면에서 Prolific은 전통적 채용 방법에 비해 얼마나 타당한 대안으로 기능할 수 있는가?

주요 결과

• 2022년 1월 기준으로 Prolific을 통해 소프트웨어 엔지니어의 기술 배경을 가진 15,500명 이상의 사전 선별된 잠재 참가자를 확보할 수 있어 채용 효율성이 크게 향상된다.
• 3개의 다중선택 문제로 구성된 1분간의 피LOT 연구를 통해 자격이 없는 참가자를 효과적으로 걸러내어, 소프트웨어 공학 능력이 입증된 참가자들만 진행하도록 보장할 수 있다.
• 설문당 2~3개의 주의력 점검을 적용함으로써 무관심한 응답자를 식별하고 제거함으로써 데이터 품질을 크게 향상시킬 수 있다.
• G*Power를 활용한 통계적 검정력 분 析를 통해 충분한 통계적 검정력을 확보할 수 있는 최소 표본 크기를 결정할 수 있으며, 이는 제2종 오류 위험을 감소시킨다.
• 50개 이상의 변수를 검정할 경우 알파 임계값을 p < 0.003로 조정함으로써 제1종 오류 증가를 효과적으로 통제할 수 있으며, Bonferroni와 같은 과도한 수정을 피할 수 있다.
• 제안된 방법론적 프레임워크는 이론 기반이며 검정력이 확보된 표본 연구 개발을 지원하여 실증 소프트웨어 공학 연구의 일반화 가능성과 타당성을 향상시킨다.