[논문 리뷰] Controlled Experiments with Student Participants in Software Engineering: Preliminary Results from a Systematic Mapping Study

Marian Daun, Carolin Hübscher외 1명|arXiv (Cornell University)|2017. 08. 15.

Software Engineering Research참고 문헌 16인용 수 4

한 줄 요약

이 체계적 맵핑 연구는 소프트웨어 공학 연구에서 통제 실험에 학부생 참가자를 사용하는 방식을 조사한다. 연구 결과, 175개의 통제 실험 중 62.29%인 109개가 학부생을 사용했으며, 대부분 자발적 참가자로 모집되었지만, 참가자 모집 및 타당성 위협 보고에 대한 투명성이 떨어져, 광범위하게 사용되고 있음에도 불구하고 방법론적 엄밀성에 심각한 격차가 있음을 드러낸다.

ABSTRACT

[Context] In software engineering research, emphasis is given to sound evaluations of new approaches. While industry surveys or industrial case studies are preferred to evaluate industrial applicability, controlled experiments with student participants are commonly used to determine measurements such as effectiveness and efficiency of a proposed approach. [Objectives] In this paper, we elaborate on the current state of the art of controlled experiments using student participants. As student participants are commonly only reluctantly accepted in scientific communities and threats regarding the generalizability are quite obvious, we want to determine how widespread controlled experiments with student participants are and in which settings they are used. [Methods] This paper reports on a systematic mapping study using high-quality journals and conferences from the software engineering field as data sources. We scanned all papers published between 2010 and 2014 and investigated all papers reporting student experiments in detail. [Results] From 2788 papers under investigation 175 report results from controlled experiments. 109 (62.29%) of these controlled experiments have been conducted with student participants. Most experiments used undergraduate student participants, recruited students on a voluntary basis, and set them tasks to measure their comprehension. However, many experiments lack information regarding the students' recruitment and other important factors. [Conclusions] In conclusion, student participation in software engineering experiments can be seen as a common evaluation approach. In contrast, there seems to be little knowledge about the threats to validity in student experiments, as major drivers such as the recruitment are not reported at all.

연구 동기 및 목표

• 소프트웨어 공학 연구에서 학부생 참가자를 사용하는 통제 실험의 현재 빈도와 사용 패턴을 평가하기 위해.
• 학생 참가자 모집, 과제 설계, 실험 환경 등 공통된 방법론적 관행을 특정하기 위해.
• 특히 일반화 가능성과 학부생 기반 실험에서의 참가자 모집과 관련된 타당성 위협의 투명성과 보고 품질을 평가하기 위해.
• 학부생 참가자를 사용하는 실험 소프트웨어 공학 연구와 관련된 연구 공동체의 수용도 및 도전 과제를 이해하기 위해.

제안 방법

• 고품질의 소프트웨어 공학 저널 및 컨퍼런스를 데이터 소스로 사용하여 체계적 맵핑 연구를 수행하였다.
• 2010년부터 2014년까지 출판된 모든 논문을 스크래핑하여, 학부생 참가자를 포함한 통제 실험을 보고한 논문을 중심으로 분석하였다.
• 통제 실험을 보고한 175篇의 논문에서 상세한 정보를 식별하고 추출하였으며, 이 중 109편은 학부생 참가자를 포함하였다.
• 참가자 특성, 모집 방법, 과제 유형, 타당성 위협 보고 등을 포함한 실험 설계를 분석하였다.
• 실험 환경, 참가자 인구통계학적 특성, 방법론 보고 품질에 대한 발견을 분류하고 종합하였다.
• 특히 학부생 모집 및 일반화 가능성과 관련된 타당성 위협 보고의 완전성에 대해 평가하였다.

실험 결과

연구 질문

• RQ1 2010년부터 2014년 사이에 소프트웨어 공학 연구에서 학부생 참가자를 포함한 통제 실험은 얼마나 자주 수행되었는가?
• RQ2 이 실험들에서 학부생 참가자의 가장 일반적인 특성(예: 학력 수준, 모집 방법 등)은 무엇인가?
• RQ3 학부생 참가자를 사용하는 실험에서, 특히 모집 및 일반화 가능성과 관련된 타당성 위협은 어느 정도 보고되었는가?
• RQ4 이러한 통제 실험에서 학부생 참가자에게 일반적으로 부여되는 과제 유형은 무엇인가?
• RQ5 학부생 참가자를 포함한 실험에서 방법론적 세부 사항의 보고는 얼마나 완전하고 투명한가?

주요 결과

• 175개의 통제 실험 중 109개(62.29%)가 학부생 참가자를 사용하여, 소프트웨어 공학 연구에서 이 방법이 널리 사용되고 있음을 시사한다.
• 학부생이 가장 일반적인 참가자 집단이었으며, 대부분의 실험이 자발적 참가자로 학부생을 모집하였다.
• 참가자 모집 과정에 대한 세부 보고가 부족한 실험이 다수 존재하여, 투명성과 방법론적 엄밀성에 대한 우려가 제기된다.
• 많은 실험이 일반화 가능성과 학부생 샘플의 대표성과 관련된 주요 타당성 위협을 보고하거나 다루지 못했다.
• 가장 흔한 실험 과제는 코드나 설계 자료의 이해도 측정에 초점이 맞춰져 있었다.
• 다양하게 사용되고 있음에도 불구하고, 학부생 기반 실험에 대한 방법론적 보고는 일관되지 않으며, 절차적 및 인구통계학적 세부 정보의 문서화가 제한되어 있다.