[論文レビュー] Software Engineering User Study Recruitment on Prolific: An Experience Report

Brittany Reid, Markus Wagner+2 more|arXiv (Cornell University)|Jan 14, 2022

Software Engineering Research被引用数 8

ひとこと要約

本論文は、事前スクリーニングの妥当性確認、注意チェック、および特定のプログラミング知識の質問を用いて、Prolificプラットフォーム上で適切なNode.jsプログラマーを正確に抽出する手法を提示している。680名のアンケート回答者の中から、全基準を満たしたのはたった55名（8%）にとどまり、自己申告されたプログラミングスキルの信頼性が極めて低いこと、そしてソフトウェア工学分野のユーザースタディーズにおいて、能動的な検証が不可欠であることが示された。

ABSTRACT

Online participant recruitment platforms such as Prolific have been gaining popularity in research, as they enable researchers to easily access large pools of participants. However, participant quality can be an issue; participants may give incorrect information to gain access to more studies, adding unwanted noise to results. This paper details our experience recruiting participants from Prolific for a user study requiring programming skills in Node.js, with the aim of helping other researchers conduct similar studies. We explore a method of recruiting programmer participants using prescreening validation, attention checks and a series of programming knowledge questions. We received 680 responses, and determined that 55 met the criteria to be invited to our user study. We ultimately conducted user study sessions via video calls with 10 participants. We conclude this paper with a series of recommendations for researchers.

研究の動機と目的

• Prolificのようなオンライン研究プラットフォームにおいて、参加者が自己申告するプログラミングスキルの不正確さの高い割合を是正すること。
• 自己申告以外の方法でプログラミング能力を検証することで、ソフトウェア工学分野のユーザースタディーズにおけるリクルートメントのノイズを低減すること。
• 適格なプログラマー参加者を正確に同定するための、複数段階のスクリーニングプロセスを開発・テストすること。
• Prolificでプログラミング関連のユーザースタディーズを実施する研究者に、実行可能な提言を提供すること。

提案手法

• 2段階の研究を実施：第1部としてスクリーニングアンケート（パート1）、第2部として適格者へのビデオ通話セッション（パート2）。
• 自己申告されたプログラミング経験と、その後続の質問への回答を照合することで、矛盾を検出する事前スクリーニングの妥当性確認を実施。
• 注意チェックを統合し、指示に従わずに「Java」と答えるなど、注意を散漫にした参加者を特定。
• 先行研究に基づいて設計された6つのプログラミング知識の質問を用い、そのうち1つ（K7）は実際のNode.jsでのコード実行を要する。
• 矛盾した回答、注意チェックに失敗、または意味のない回答を示した参加者を、プロセスの初期段階でフィルタリング。
• Prolificの完了コードシステムとYouCanBook.meを用いてセッションの予約を管理し、データの機微性と参加者の責任を確保。

実験結果

リサーチクエスチョン

• RQ1 Prolificで自己申告されたプログラミングスキルは、実際にNode.jsでプログラミングできる能力をどれほど正確に反映しているか。
• RQ2 注意チェックとプログラミング知識の質問は、不適格または注意を散漫にした参加者をどれほど効果的にフィルタリングできるか。
• RQ3 事前スクリーニングの妥当性確認は、潜在的参加者の中での不一致な自己申告を特定する上でどの程度有効か。
• RQ4 自己申告されたプログラマーと、客観的なコーディング評価に合格した参加者との間で、人口統計的および行動的パターンにどのような差が見られるか。
• RQ5 ビデオベースのソフトウェア工学スタディーにおいて、参加者が途中で離脱する要因は何であるか。

主な発見

• Prolificで自己申告したプログラミングスキルを持つ参加者のうち、12%しか本研究の客観的基準を満たさなかった。これは自己申告の信頼性が極めて低いことを示している。
• 33%の参加者が、事前スクリーニングとアンケートの回答で矛盾した回答を示しており、自己申告の不正確さが広範にわたっていることが判明した。
• Node.jsを知っていると主張した206名のうち、わずか55名（27%）が、すべてのプログラミング知識の質問と検証チェックに合格した。
• 適格なプログラマーを同定する上で最も効果的だった質問は、K6（出力予測）、K7（コード実行）、およびK5（パrameterの特定）であった。
• 最終的なプログラマー集団の47%がソフトウェア関連の業界で勤務しており、スクリーニングプロセスの妥当性が裏付けられた。
• ビデオセッションを予約した14名中10名が正常に完了したが、4名が不安や自己不信のため途中で離脱した。これは、事前スタディーの期待値をより明確に示す必要があることを示唆している。