[论文解读] Controlled Experiments with Student Participants in Software Engineering: Preliminary Results from a Systematic Mapping Study

Marian Daun, Carolin Hübscher+1 more|arXiv (Cornell University)|Aug 15, 2017

Software Engineering Research参考文献 16被引用 4

一句话总结

本系统映射研究调查了在软件工程研究中使用学生参与者进行受控实验的情况。结果显示，175项受控实验中62.29%（109项）依赖于本科生，这些学生通常为自愿参与，但许多研究在招募过程和有效性威胁报告方面缺乏透明度，凸显了尽管使用广泛，方法论严谨性仍存在显著缺口。

ABSTRACT

[Context] In software engineering research, emphasis is given to sound evaluations of new approaches. While industry surveys or industrial case studies are preferred to evaluate industrial applicability, controlled experiments with student participants are commonly used to determine measurements such as effectiveness and efficiency of a proposed approach. [Objectives] In this paper, we elaborate on the current state of the art of controlled experiments using student participants. As student participants are commonly only reluctantly accepted in scientific communities and threats regarding the generalizability are quite obvious, we want to determine how widespread controlled experiments with student participants are and in which settings they are used. [Methods] This paper reports on a systematic mapping study using high-quality journals and conferences from the software engineering field as data sources. We scanned all papers published between 2010 and 2014 and investigated all papers reporting student experiments in detail. [Results] From 2788 papers under investigation 175 report results from controlled experiments. 109 (62.29%) of these controlled experiments have been conducted with student participants. Most experiments used undergraduate student participants, recruited students on a voluntary basis, and set them tasks to measure their comprehension. However, many experiments lack information regarding the students' recruitment and other important factors. [Conclusions] In conclusion, student participation in software engineering experiments can be seen as a common evaluation approach. In contrast, there seems to be little knowledge about the threats to validity in student experiments, as major drivers such as the recruitment are not reported at all.

研究动机与目标

• 评估2010至2014年间在软件工程研究中使用学生参与者进行受控实验的当前普遍程度和使用模式。
• 识别常见方法论实践，包括学生招募、任务设计和实验环境。
• 评估有效性威胁（尤其是与可推广性和招募相关者）的透明度和报告质量。
• 理解研究社区对在实验性软件工程研究中使用学生参与者的接受程度及面临挑战。

提出的方法

• 采用高质量的软件工程期刊和会议作为数据源，开展系统映射研究。
• 扫描2010至2014年间发表的所有论文，重点关注报告了使用学生参与者的受控实验的论文。
• 从175篇报告受控实验的论文中识别并提取详细信息，其中109篇明确涉及学生参与者。
• 分析实验设计，包括参与者特征、招募方法、任务类型以及有效性威胁的报告情况。
• 对实验环境、参与者人口统计特征和方法论报告质量的发现进行分类与综合。
• 评估有效性威胁报告的完整性，特别是与学生招募和可推广性相关的方面。

实验结果

研究问题

• RQ1 2010至2014年间，在软件工程研究中开展使用学生参与者的受控实验的频率如何？
• RQ2 这些实验中学生参与者的最常见特征是什么（例如，学业水平、招募方式）？
• RQ3 在使用学生参与者的实验中，有效性威胁（尤其是与招募和可推广性相关的）报告程度如何？
• RQ4 这些受控实验中通常分配给学生参与者的任务类型有哪些？
• RQ5 涉及学生参与者的实验中，方法论细节的报告完整性和透明度如何？

主要发现

• 在识别出的175项受控实验中，有109项（62.29%）使用了学生参与者，表明该方法在软件工程研究中被广泛依赖。
• 本科生是最常见的参与者群体，大多数实验通过自愿方式招募学生。
• 大量实验缺乏对学生招募过程的详细报告，引发了对透明度和方法论严谨性的担忧。
• 许多实验未能报告或解决关键的有效性威胁，特别是与样本可推广性和代表性相关的威胁。
• 最常见的实验任务聚焦于测量理解能力，例如理解代码或设计文档。
• 尽管使用广泛，学生参与实验的方法论报告仍不一致，对程序性细节和人口统计信息的记录有限。