[論文レビュー] Controlled Experiments with Student Participants in Software Engineering: Preliminary Results from a Systematic Mapping Study

Marian Daun, Carolin Hübscher+1 more|arXiv (Cornell University)|Aug 15, 2017

Software Engineering Research参考文献 16被引用数 4

ひとこと要約

本系統的マッピング研究では、ソフトウェア工学研究における制御実験における学生参加者の使用を調査している。175件の制御実験のうち62.29％（109件）が学部生に依存しており、多くの場合、自発的参加が前提であるが、多くの研究で参加者募集プロセスや妥当性の脅威に関する報告が不透明であることが判明し、広範に使用されているにもかかわらず、メソドロジカルな厳密性に著しいギャップがあることが浮き彫りになった。

ABSTRACT

[Context] In software engineering research, emphasis is given to sound evaluations of new approaches. While industry surveys or industrial case studies are preferred to evaluate industrial applicability, controlled experiments with student participants are commonly used to determine measurements such as effectiveness and efficiency of a proposed approach. [Objectives] In this paper, we elaborate on the current state of the art of controlled experiments using student participants. As student participants are commonly only reluctantly accepted in scientific communities and threats regarding the generalizability are quite obvious, we want to determine how widespread controlled experiments with student participants are and in which settings they are used. [Methods] This paper reports on a systematic mapping study using high-quality journals and conferences from the software engineering field as data sources. We scanned all papers published between 2010 and 2014 and investigated all papers reporting student experiments in detail. [Results] From 2788 papers under investigation 175 report results from controlled experiments. 109 (62.29%) of these controlled experiments have been conducted with student participants. Most experiments used undergraduate student participants, recruited students on a voluntary basis, and set them tasks to measure their comprehension. However, many experiments lack information regarding the students' recruitment and other important factors. [Conclusions] In conclusion, student participation in software engineering experiments can be seen as a common evaluation approach. In contrast, there seems to be little knowledge about the threats to validity in student experiments, as major drivers such as the recruitment are not reported at all.

研究の動機と目的

• ソフトウェア工学研究における学生参加者を用いた制御実験の現在の頻度と使用パターンを評価すること。
• 学生の参加者募集、タスク設計、実験環境などの一般的なメソドロジカルな実践を特定すること。
• 特に一般化可能性と学生参加者に関する妥当性の脅威に関する報告の透明性と品質を評価すること。
• 研究コミュニティにおける学生参加者を用いた実験的ソフトウェア工学研究の受容状況とその課題を理解すること。

提案手法

• ソフトウェア工学分野の高品質な学術誌および国際会議をデータソースとして、系統的マッピング研究を実施した。
• 2010年から2014年までに発表された論文をスキャンし、学生参加者を用いた制御実験を報告している論文に焦点を当てた。
• 制御実験を報告する175件の論文から詳細な情報を特定・抽出し、そのうち109件が学生参加者を含んでいた。
• 参加者特性、参加者募集方法、タスクタイプ、妥当性の脅威の報告などを含む、実験設計を分析した。
• 実験環境、参加者デモグラフィックス、メソドロジカル報告の質に関する発見を分類・統合した。
• 特に学生参加者募集および一般化可能性に関連する妥当性の脅威に関する報告の完全性を評価した。

実験結果

リサーチクエスチョン

• RQ1 2010年から2014年の間にソフトウェア工学研究で学生参加者を用いた制御実験はどの程度の頻度で実施されているか？
• RQ2 これらの実験における学生参加者の最も一般的な特徴（例：学年、参加者募集方法）は何か？
• RQ3 学生参加者を用いた実験において、特に参加者募集および一般化可能性に関連する妥当性の脅威は、どの程度報告されているか？
• RQ4 これらの制御実験で学生参加者に通常割り当てられるタスクの種類は何か？
• RQ5 学生参加者を含む実験におけるメソドロジカルな詳細の報告は、どの程度完全で透明性があるか？

主な発見

• 175件の制御実験のうち109件（62.29％）が学生参加者を用いており、これはソフトウェア工学研究においてこの手法が広く使われていることを示している。
• 学部生が最も一般的な参加者グループであり、多くの実験が自発的参加を前提としている。
• 参加者募集プロセスに関する詳細な報告が欠落している実験が多数存在し、透明性とメソドロジカルな厳密性に懸念が生じる。
• 多くの実験が、一般化可能性や学生サンプルの代表性に関する主要な妥当性の脅威を報告または検討していない。
• 最も一般的な実験タスクは、コードや設計アーティファクトの理解を測定することに焦点を当てている。
• 広く使われているにもかかわらず、学生参加者を用いた実験のメソドロジカル報告は一貫性がなく、手順的およびデモグラフィックな詳細の記録が限定的である。