[論文レビュー] Recruiting Software Engineers on Prolific

Daniel Russo|arXiv (Cornell University)|Mar 28, 2022

Mobile Crowdsensing and Crowdsourcing被引用数 6

ひとこと要約

本論文は、標本バイアスを軽減し、実験的ソフトウェア工学研究における統計的パワーを確保するため、Prolificのクラウドソーシング・プラットフォームを活用した実用的なフレームワークを提示する。事前スクリーニング基準、パイロット検証、注意チェックを組み合わせることで、研究者は代表的で高品質なサンプルを効率的に得ることができ、パワー分析により最適なサンプルサイズを決定することで、第一種および第二種の誤りを最小限に抑えることができる。

ABSTRACT

Recruiting participants for software engineering research has been a primary concern of the human factors community. This is particularly true for quantitative investigations that require a minimum sample size not to be statistically underpowered. Traditional data collection techniques, such as mailing lists, are highly doubtful due to self-selection biases. The introduction of crowdsourcing platforms allows researchers to select informants with the exact requirements foreseen by the study design, gather data in a concise time frame, compensate their work with fair hourly pay, and most importantly, have a high degree of control over the entire data collection process. This experience report discusses our experience conducting sample studies using Prolific, an academic crowdsourcing platform. Topics discussed are the type of studies, selection processes, and power computation.

研究の動機と目的

• 伝統的な手法で一般的に見られる自己選択バイアスを回避するため、代表的なソフトウェアエンジニアを実験的ソフトウェア工学研究に参加させる課題に対処する。
• 便宜的サンプリングや学生を代理として使用する方法の制限を克服し、研究の一般化可能性を損なう要因を排除する。
• 厳密なパワー分析を用いて、適切なサンプルサイズを決定することで、サンプル研究における統計的パワーを確保する。
• 複数の仮説検定を実施する場合に、第一種誤りの増加を制御するため、有意水準（alpha）を調整することで、第一種および第二種の誤りを最小限に抑える。
• Prolificのような学術的クラウドソーシング・プラットフォームで、再現可能で方法論的に整合性のある参加者募集およびデータ収集プロセスを確立する。

提案手法

• 特定の人口統計的および行動的基準（プログラミングスキル、日常的な技術使用、承認率95％以上）を満たす参加者をProlificのプラットフォームで募集する。
• 参加者の集中を保ち、データ収集中の干渉を減らすために、デスクトップ専用のアンケートアクセスポリシーを導入する。
• 3つの選択肢式の質問を含む1分間のタイムボックス型パイロット研究を実施し、事前スクリーニング済み候補者のソフトウェア工学の熟達度を検証する。
• アンケート1件あたり2～3つの注意チェックを適用し、不注意な回答者をフィルタリングすることで、データ品質を向上させる。
• G*Powerを用いて事前分析または感度分析を実施し、望ましい統計的パワーと効果量に基づいて最小必要サンプルサイズを決定する。
• 50個以上の変数をテストする場合に、第一種誤りの増加を制御するため、有意水準（例：p < 0.003）を調整する。ボンフェローニ補正のような過剰に厳密な補正を避ける。

実験結果

リサーチクエスチョン

• RQ1 Prolific上でソフトウェアエンジニアを効果的に募集する方法は何か？ また、自己選択バイアスを最小限に抑え、参加者の質を保証するにはどうすればよいか？
• RQ2 実際にソフトウェアエンジニアであることを確認するための、事前スクリーニングおよび検証技術としてどのような手法が有効か？
• RQ3 クラウドソーシング・プラットフォームを用いたソフトウェア工学専門家を対象としたサンプル研究において、統計的パワーをどのように確保できるか？
• RQ4 実験的ソフトウェア工学研究において複数の仮説検定を実施する場合、第一種誤り率を効果的に制御する戦略は何か？
• RQ5 代表的かつデータ品質の観点から、Prolificは従来の参加者募集手法に代わる有効な代替手段としてどの程度実用的か？

主な発見

• 2022年1月現在、Prolificでは関連する技術的背景を持つ15,500人以上の事前スクリーニング済み候補者を迅速に獲得でき、採用効率が著しく向上している。
• 3つの選択肢式の質問を含む1分間のパイロット研究を実施することで、資格のない候補者を効果的にフィルタリングでき、ソフトウェア工学の熟達度を示した者だけが次に進むことが保証される。
• アンケート1件あたり2～3つの注意チェックを適用することで、不注意な回答者を特定・除外でき、データ収集中の品質が著しく向上する。
• G*Powerを用いたパワー分析により、十分な統計的パワーを確保するための最小サンプルサイズを決定でき、第二種誤りのリスクを低減できる。
• 50個以上の変数をテストする際、有意水準をp < 0.003に調整することで、第一種誤りの増加を効果的に制御でき、ボンフェローニ補正のような過剰な補正を回避できる。
• 提示された方法論的フレームワークにより、理論に基づいた、十分なパワーを備えたサンプル研究の構築が可能となり、実験的ソフトウェア工学研究の一般化可能性と妥当性が向上する。