[논문 리뷰] Towards an OSF-based Registered Report Template for Software Engineering Controlled Experiments

Ana B. M. Bett, Thais Nepomuceno외 4명|arXiv (Cornell University)|2026. 02. 10.

Scientific Computing and Data Management인용 수 0

한 줄 요약

이 논문은 소프트웨어 공학 제어 실험을 위한 OSF 기반 Registered Report (RR) Stage-1 템플릿을 제안하고, Jedlitschka 2008 가이드라인에 대해 OSF RR 유형을 분석하며, SE 특화 RR 가이드라인의 격차, 한계 및 향후 조치에 대해 논의한다.

ABSTRACT

Context: The empirical software engineering (ESE) community has contributed to improving experimentation over the years. However, there is still a lack of rigor in describing controlled experiments, hindering reproducibility and transparency. Registered Reports (RR) have been discussed in the ESE community to address these issues. A RR registers a study's hypotheses, methods, and/or analyses before execution, involving peer review and potential acceptance before data collection. This helps mitigate problematic practices such as p-hacking, publication bias, and inappropriate post hoc analysis. Objective: This paper presents initial results toward establishing an RR template for Software Engineering controlled experiments using the Open Science Framework (OSF). Method: We analyzed templates of selected OSF RR types in light of documentation guidelines for controlled experiments. Results: The observed lack of rigor motivated our investigation of OSF-based RR types. Our analysis showed that, although one of the RR types aligned with many of the documentation suggestions contained in the guidelines, none of them covered the guidelines comprehensively. The study also highlights limitations in OSF RR template customization. Conclusion: Despite progress in ESE, planning and documenting experiments still lack rigor, compromising reproducibility. Adopting OSF-based RRs is proposed. However, no currently available RR type fully satisfies the guidelines. Establishing RR-specific guidelines for SE is deemed essential.

연구 동기 및 목표

• 소프트웨어 공학 제어 실험의 엄격성, 투명성 및 재현성 향상.
• OSF RR 유형이 확립된 SE 실험 가이드라인(Jedlitschka et al., 2008)과 어떻게 정합하는지 탐색.
• SE 제어 실험에 맞춘 초기 OSF 기반 RR Stage-1 템플릿 제안.
• SE에서 OSF 기반 RR 채택의 격차, 한계 및 향후 조치 식별.

제안 방법

• OSF RR 유형(RR.1, RR.3, RR.10, RR.11)을 Jedlitschka 2008 SE 가이드라인과 대조.
• 제어 실험에 부적합한 RR 유형은 제외하고 남은 유형을 문서화, 계획, 운영, 분석의 가이드라인 섹션에 매핑.
• SE 제어 실험을 위한 초기 OSF 기반 RR Stage-1 템플릿 제안.
• SE에서의 향후 RR 개발에 대한 교훈, 한계 및 시사점 분석.

실험 결과

연구 질문

• RQ1 기존 가이드라인을 바탕으로 SE 제어 실험용 RR 템플릿을 어떻게 설계할 수 있는가?
• RQ2 어떤 OSF RR 유형이 SE 제어 실험의 문서화 및 계획 요구를 가장 잘 지원하는가?
• RQ3 OSF RR 제공과 Jedlitschka(2008) SE 가이드라인 간의 격차는 무엇이며, 이를 어떻게 해결할 수 있는가?
• RQ4 Software Engineering에서 OSF 기반 RR 채택을 발전시키기 위해 앞으로 어떤 조치가 필요한가?

주요 결과

• OSF RR 유형은 아직 SE 가이드라인 커버리지를 포괄적으로 충족하지 못하며, Jedlitschka 2008 권고안을 완전히 충족하는 유형은 없다.
• RR.3(정성적 연구)은 37개 중 33개로 가장 많은 가이드라인에 매핑되어 정성 연구 지원에 더 높은 정합성을 보이는 반면, RR.1은 37개 중 31개로 뒤따름.
• OSF의 RR 커스터마이징은 제한되어 있어 RR.1과 RR.3을 결합해 모든 가이드라인을 포괄하는 단일 템플릿을 만들 수 없다.
• 데이터 기반, 가설 검정 연구에서 OSF 기반 RR의 상당한 강점이 있지만, 탐색적이거나 설계 지향적 SE 연구에는 한계가 있다.
• RR은 계획 수립, 투명성 및 조기 피어 입력을 촉진하여 연구 품질을 향상시킬 수 있지만 계획 부담과 1단계 심사 지연을 초래할 수 있다.
• 본 연구는 SE 특화 RR 가이드라인의 필요성을 강조하고 있으며, 현재의 OSF RR 유형이 SE 실험의 모든 측면을 충분히 다루지 못한다는 점을 지적한다.