[논문 리뷰] Software Engineering User Study Recruitment on Prolific: An Experience Report

Brittany Reid, Markus Wagner외 2명|arXiv (Cornell University)|2022. 01. 14.

Software Engineering Research인용 수 8

한 줄 요약

이 논문은 프리로빅(Prolific) 플랫폼에서 노드.js 프로그래머를 모집하기 위한 검증된 방법을 제시한다. 사전 스크리닝 검증, 주의력 검사, 목표 지향적인 프로그래밍 지식 질문을 통해 이루어진다. 680명의 설문 응답자 중에서 유일하게 모든 기준을 충족한 이들은 55명(8%)에 불과하여, 자가 보고된 프로그래밍 능력은 매우 신뢰할 수 없으며, 소프트웨어 공학 분야의 사용자 연구에서는 능동적인 검증이 필수적임을 입증한다.

ABSTRACT

Online participant recruitment platforms such as Prolific have been gaining popularity in research, as they enable researchers to easily access large pools of participants. However, participant quality can be an issue; participants may give incorrect information to gain access to more studies, adding unwanted noise to results. This paper details our experience recruiting participants from Prolific for a user study requiring programming skills in Node.js, with the aim of helping other researchers conduct similar studies. We explore a method of recruiting programmer participants using prescreening validation, attention checks and a series of programming knowledge questions. We received 680 responses, and determined that 55 met the criteria to be invited to our user study. We ultimately conducted user study sessions via video calls with 10 participants. We conclude this paper with a series of recommendations for researchers.

연구 동기 및 목표

• 온라인 연구 플랫폼인 프리로빅(Prolific)과 같은 곳에서 참가자들이 자가 보고한 프로그래밍 능력의 정확도가 매우 낮다는 문제를 해결하기 위해.
• 자기 보고 외의 방법으로 프로그래밍 숙련도를 검증하여 소프트웨어 공학 분야의 사용자 연구에서 모집 노이즈를 줄이기 위해.
• 자격을 갖춘 프로그래머 참가자를 정확하게 식별하는 데 효과적인 다단계 스크리닝 프로세스를 개발하고 테스트하기 위해.
• 프리로빅(Prolific)에서 프로그래밍 관련 사용자 연구를 수행하는 연구자들에게 실용적인 권고안을 제공하기 위해.

제안 방법

• 두 단계로 구성된 연구를 수행: 사전 스크리닝 설문조사(제1단계), 자격을 갖춘 참가자들에게는 영상 통화 세션(제2단계)을 제공.
• 사전 스크리닝 검증을 통해 자기 보고한 프로그래밍 경험과 후속 질문에 대한 답변을 비교하여 일관성 여부를 확인.
• 참가자가 주의를 기울이지 않은 경우를 식별하기 위해 주의력 검사를 통합. 예를 들어, 언어 질문에 '자바'라고 답하도록 지시했지만 이를 따르지 않은 경우.
• 이전 연구를 바탕으로 한 6개의 프로그래밍 지식 질문을 설계. 그 중 하나는 노드.js에서 실제 코드를 실행하는 것(K7)을 요구하여 실질적인 코딩 능력을 검증.
• 불일치된 답변, 주의력 검사에 실패하거나 비논리적인 답변을 제출한 참가자를 조기에 걸러내기 위한 필터링 절차를 적용.
• 프리로빅(Prolific)의 완료 코드 시스템과 YouCanBook.me를 활용해 세션 예약을 관리하여 데이터 기밀성과 참가자 책임을 확보.

실험 결과

연구 질문

• RQ1 프리로빅(Prolific)에서 자가 보고한 프로그래밍 능력이 노드.js에서의 실제 프로그래밍 숙련도를 얼마나 정확하게 반영하는가?
• RQ2 주의력 검사와 프로그래밍 지식 질문은 자격이 없는 또는 주의를 기울이지 않는 참가자를 얼마나 효과적으로 걸러낼 수 있는가?
• RQ3 사전 스크리닝 검증은 잠재적 참가자들 사이에서 일관되지 않은 자기 보고를 식별하는 데 어떤 영향을 미치는가?
• RQ4 자기 보고한 프로그래머와 객관적인 코딩 평가에 통과한 참가자 간의 인구통계학적 및 행동 패턴은 어떻게 다를까?
• RQ5 영상 기반 소프트웨어 공학 연구 중에 참가자가 퇴출되는 데 기여하는 요인는 무엇인가?

주요 결과

• 프리로빅(Prolific)에서 자가 보고한 프로그래밍 능력을 가진 참가자 중에서 연구의 객관적 기준을 충족한 이들은 12%에 불과하여, 자기 보고의 신뢰성 부족을 확인한다.
• 206명의 참가자 중 33%가 사전 스크리닝과 설문 응답 사이에서 일관되지 않은 답변을 제출하여, 자기 보고의 정확도가 낮다는 광범위한 문제를 드러낸다.
• 노드.js를 안다고 주장한 206명의 참가자 중에서 유일하게 모든 프로그래밍 지식 질문과 검증 절차를 통과한 이는 55명(27%)에 불과했다.
• 자격을 갖춘 프로그래머를 식별하는 데 가장 효과적인 질문은 K6(출력 예측), K7(코드 실행), K5(매개변수 식별)였다.
• 최종 프로그래머 서브셋의 47%는 소프트웨어 관련 산업에서 일하고 있었으며, 이는 스크리닝 프로세스의 타당성을 확인하는 데 기여했다.
• 영상 세션을 예약한 14명 중 10명(71%)이 성공적으로 세션을 완료했지만, 4명은 불안이나 자기 의심으로 인해 퇴출되었으며, 이는 사전 연구 기대치를 더 명확히 제시할 필요가 있음을 시사한다.