[論文レビュー] Using Students as Experimental Subjects in Software Engineering Research -- A Review and Discussion of the Evidence

Dror G. Feitelson|arXiv (Cornell University)|Dec 28, 2015

Software Engineering Research参考文献 184被引用数 15

ひとこと要約

この論文は、ソフトウェア工学研究における学生を被験者として用いることが本質的に無効であるとは限らず、適切に文脈化されていれば非常に効果的であると主張している。既存の研究をレビューした結果、学生被験者は、特に初期段階の研究において、制御された実験に適していることが判明した。これは、彼らのパフォーマンスが職業的身分よりもスキル水準とより強く相関するからである。また、被験者の人種的特徴よりも、研究手法の厳密さが重要であると結論している。

ABSTRACT

Should students be used as experimental subjects in software engineering? Given that students are in many cases readily available and cheap it is no surprise that the vast majority of controlled experiments in software engineering use them. But they can be argued to constitute a convenience sample that may not represent the target population (typically "real" developers), especially in terms of experience and proficiency. This causes many researchers (and reviewers) to have reservations about the external validity of student-based experiments, and claim that students should not be used. Based on an extensive review of published works that have compared students to professionals, we find that picking on "students" is counterproductive for two main reasons. First, classifying experimental subjects by their status is merely a proxy for more important and meaningful classifications, such as classifying them according to their abilities, and effort should be invested in defining and using these more meaningful classifications. Second, in many cases using students is perfectly reasonable, and student subjects can be used to obtain reliable results and further the research goals. In particular, this appears to be the case when the study involves basic programming and comprehension skills, when tools or methodologies that do not require an extensive learning curve are being compared, and in the initial formative stages of large industrial research initiatives -- in other words, in many of the cases that are suitable for controlled experiments of limited scope.

研究の動機と目的

• ソフトウェア工学研究における学生を被験者として用いることの妥当性および外部妥当性を評価すること。
• 学生が職業的開発者と本質的に代表的でないという一般的な仮定に挑戦すること。
• 専門的身分ではなく、熟練度やスキル水準が、より意味のある分類基準であると主張すること。
• 学生被験者を制御された実験で効果的に使用する際の、根拠に基づいた指針を提供すること。
• 被験者の人種的特徴に過剰に注目するのではなく、実験設計における研究手法の改善を提唱すること。

提案手法

• 学生と職業的ソフトウェア開発者を比較した制御された実験における、公表済み研究の包括的レビューを実施した。
• 被験者分類（学生対職業的開発者）とスキルベース分類が、実験結果に与える影響を分析した。
• 実験手順をプロトタイプ段階で洗練させるために、学生を被騔回として用いるパイロット研究の有効性を評価した。
• ソフトウェア工学実験における統計的実践をレビューし、堅牢なデータ表現と非パラメトリック手法の必要性を強調した。
• 一回限りの限られたスコープの研究よりも、複数の設定、アーティファクト、被験者プールにおける再現性と研究手法の多様性を優先するフレームワークを提唱した。
• 外部妥当性を高めるために、現実の現場環境と産業界の参加を活用することの重要性を強調した。

実験結果

リサーチクエスチョン

• RQ1 ソフトウェア工学研究における学生を被験者として用いるのは、どのような条件下で適切であるか？
• RQ2 プログラミングタスクやツール評価を含む制御された実験において、学生のパフォーマンスは職業的開発者と比べてどうか？
• RQ3 職業的身分（学生対職業的開発者）が外部妥当性に与える影響は、スキル水準に比べてどの程度大きいのか？
• RQ4 学生被験者を用いた実験の信頼性と一般化可能性を高めるために、どのような研究手法の改善が可能か？
• RQ5 学生を被験者としたパイロット研究は、その後の職業的開発者を対象とした大規模実験をどのように支援し、正当化できるか？

主な発見

• 1993年から2002年の間のソフトウェア工学実験の87％が、被験者として学生を用いており、外部妥当性に関する懸念にもかかわらず広く受け入れられていることが示された。
• 学生は、基本的なプログラミングや学習コストが低いツールを対象とした初期段階の研究において、実際の開発者と妥当な代替指標となることがある。
• 学生と職業的開発者の間には、スキル水準に顕著な重複があり、熟練度が職業的身分と必ずしも相関するわけではない。
• パイロット研究として学生を用いることで、実験手順の洗練が可能となり、後続段階で職業的開発者を対象とした実験にかかるコストの正当化が可能になる。
• 被験者ステータスではなく、研究手法の厳密さ（適切な統計解析とデータ表現を含む）が主な懸念事項でなければならない。
• 被験者の人種的特徴に注目するのではなく、多様な設定、アーティファクト、被験者プールにおける再現性が、信頼できる知識の構築にとってより重要である。