[논문 리뷰] A Procedure and Guidelines for Analyzing Groups of Software Engineering Replications

Adrián Santos, Sira Vegas외 2명|arXiv (Cornell University)|2020. 04. 11.

Software Engineering Research인용 수 4

한 줄 요약

이 논문은 소프트웨어 공학(Software Engineering, SE) 복제 연구 그룹을 집계하기 위한 맞춤형 분석 절차와 지침을 제안하며, 랜덤 효과 모델을 사용하여 집계된 데이터(AD)와 개별 참가자 데이터(IPD-S)를 동시에 활용함으로써 신뢰성과 투명성을 향상시킵니다. 이 방법은 원자료와 분류 분석을 활용함으로써 이질적이고 소표본 복제 연구가 일반적인 소프트웨어 공학 분야에서 모더레이터 탐지 능력과 통계적 검정력을 향상시킵니다.

ABSTRACT

Context: Researchers from different groups and institutions are collaborating on building groups of experiments by means of replication (i.e., conducting groups of replications). Disparate aggregation techniques are being applied to analyze groups of replications. The application of unsuitable techniques to aggregate replication results may undermine the potential of groups of replications to provide in-depth insights from experiment results. Objectives: Provide an analysis procedure with a set of embedded guidelines to aggregate software engineering (SE) replication results. Method: We compare the characteristics of groups of replications for SE and other mature experimental disciplines such as medicine and pharmacology. In view of their differences, the limitations with regard to the joint data analysis of groups of SE replications and the guidelines provided in mature experimental disciplines to analyze groups of replications, we build an analysis procedure with a set of embedded guidelines specifically tailored to the analysis of groups of SE replications. We apply the proposed analysis procedure to a representative group of SE replications to illustrate its use. Results: All the information contained within the raw data should be leveraged during the aggregation of replication results. The analysis procedure that we propose encourages the use of stratified individual participant data and aggregated data in tandem to analyze groups of SE replications. Conclusion: The aggregation techniques used to analyze groups of replications should be justified in research articles. This will increase the reliability and transparency of joint results. The proposed guidelines should ease this endeavor.

연구 동기 및 목표

• 소프트웨어 공학(SE) 복제 연구 그룹에 대한 표준화되고 정당화된 집계 기법의 부족을 해결하기 위해.
• SE 복제 연구와 의학과 같은 성숙한 학문 간의 핵심 차이점을 규명하여 집계 기법의 적합성에 영향을 미치는 요소를 밝히기 위해.
• SE 복제 연구 그룹의 일반적인 제약 조건을 감안한 단계별 분석 절차와 통합된 지침을 개발하기 위해.
• 원자료 및 효과 크기 보고 방식의 활용을 통해 공동 결론의 신뢰성과 투명성을 향상시키기 위해.
• 보조 자료에 포함된 R 코드, 데이터셋 및 기술 가이드를 통해 재현 가능성을 지원하기 위해.

제안 방법

• 의학 및 약리학 분야의 메타 분석 구조를 소프트웨어 공학(SE) 맥락에 적응시켜, 소표본 크기와 참가자 이질성과 같은 SE 특성에 맞게 조정하기 위해.
• 집계된 데이터(AD)와 개별 참가자 데이터(IPD-S)를 동시에 사용하는 이중 접근 분석 기법을 제안하여 통찰력과 통계적 검정력을 극대화하기 위해.
• 모든 복제 연구 간의 변동성을 반영하고 일반화 가능성을 높이기 위해 AD 및 IPD-S 모두에 랜덤 효과 모델을 적용하기 위해.
• 선형 혼합 모델(LMMs)에 상호작용 항을 포함하고 메타 회귀 분석을 수행하여 참가자 수준 및 실험 수준의 모더레이터를 탐지하기 위해.
• 범주형 모더레이터에 대해서는 하위군 메타 분석을 적용하고, 탐색적 분석에서 유의성 수준을 0.1로 조정하여 I형 오류 위험을 줄이기 위해.
• 해석 가능성 향상과 통계적 유의성의 오해를 줄이기 위해 p-값보다 효과 크기와 95% 신뢰구간을 우선적으로 강조하기 위해.

실험 결과

연구 질문

• RQ1 소프트웨어 공학 복제 연구 그룹은 어떻게 집계해야 신뢰성 있고 투명한 공동 결론을 도출할 수 있는가?
• RQ2 복제 연구와 의학과 같은 성숙한 실험 학문 간의 핵심 차이는 무엇이며, 이는 어떤 방식으로 집계 기법 선택에 영향을 미치는가?
• RQ3 소표본, 이질적인 표본을 특징으로 하는 일반적인 SE 복제 연구 그룹에 대해, 집계된 데이터(AD)와 개별 참가자 데이터(IPD-S) 중 어떤 기법이 더 적합한가?
• RQ4 통계 모델링을 통해 SE 복제 연구 그룹에서 모더레이터 효과를 어떻게 신뢰성 있게 식별할 수 있는가?
• RQ5 랜덤 효과 모델과 효과 크기 보고는 SE 복제 연구 집계 결과의 타당성을 향상시키는 데 어떤 역할을 하는가?

주요 결과

• 집계된 데이터(AD)와 개별 참가자 데이터(IPD-S)를 동시에 사용하는 것은 SE 복제 연구에서 공동 결론의 정보성과 신뢰성에 크게 기여한다.
• SE 복제 연구에서 흔히 관찰되는 높은 변동성과 이질성로 인해 고정 효과 모델보다 랜덤 효과 모델이 바람직하다.
• 선형 혼합 모델(LMMs)을 사용한 IPD-S는 AD에 비해 참가자 수준의 모더레이터 탐지 능력과 통계적 유연성이 뛰어나다.
• 적절한 유의성 기준을 적용할 경우, 하위군 메타 분석은 실험 수준의 모더레이터 탐지에 효과적이며, 메타 회귀 분석은 연속형 모더레이터 탐지에 효과적이다.
• p-값에 의존하기보다 효과 크기와 95% 신뢰구간을 보고함으로써, 복제 집계 결과의 투명성과 해석 가능성은 향상된다.
• 보조 자료에 포함된 R 코드, 데이터셋 및 가이드는 제안된 분석 절차의 완전한 재현성과 실용적 적용을 가능하게 한다.