[논문 리뷰] Statistical and practical significance of empirical software engineering research: A maturity model

Richard Torkar, Robert Feldt외 2명|arXiv (Cornell University)|2017. 06. 03.

Software Engineering Research인용 수 1

한 줄 요약

이 논문은 2015년 저널 논문 2015편에 대한 수작업 검토와 2001~2015년 기간 동안 3,011개의 연구를 반자동으로 분류한 바탕으로, 경험적 소프트웨어 공학 연구를 위한 통계적 숙련도 모델을 제안한다. 통계적 숙련도가 정량적 분석과 비모수 검정 분야에서 상승 추세를 보이고 있음을 확인했지만, 결과와 실질적 의의 사이의 격차가 크다는 점을 지적하며, 투자 수익률 등 실질적 영향을 명시적으로 논의할 것을 당부하고, 추론을 강화하기 위해 베이지안 분석을 권장한다.

ABSTRACT

Software engineering research is maturing and papers increasingly support their arguments with empirical data from a multitude of sources, using statistical tests to judge if and to what degree empirical evidence supports their hypotheses. This paper presents trends and current state of art regarding statistical maturity in empirical software engineering research; the objective being the development of a statistical maturity model. First, we manually reviewed papers from four well-known and top ranked journals producing a review protocol along with the view of current (2015) state of art concerning statistical maturity, practical significance and reproducibility of empirical software engineering research. Our protocol was then used as ground truth, i.e., training set, for a semi-automatic classification of studies for the years 2001--2015 using a total of 3,011 papers. We used the extracted data to develop a statistical maturity model which also includes a model for how to argue for practical significance. The statistical maturity of empirical software engineering research has an upward trend in certain areas (e.g., use of nonparametric statistics, but also more generally in the usage of quantitative analysis). However, we also see how our research area currently often fails to connect the statistical analysis to practical significance. For instance, we argue that conclusions should explicitly state contributions to software engineering practice, e.g., the return on investment for practitioners. We argue that the statistical maturity model can be used by researchers and practitioners to build a coherent statistical analysis and guide them in the choice of statistical approaches of its steps. The final goal for a researcher would be to, in a clearer way, present and argue for the practical significance of their findings. Bayesian analysis, we believe, has a role to play in this.

연구 동기 및 목표

• 2015년 기준 경험적 소프트웨어 공학 연구의 통계적 숙련도 수준을 평가하기 위해.
• 소프트웨어 공학 실무에서 통계적 결과와 실질적 의의를 연결하지 못하는 지속적인 단점들을 특정하기 위해.
• 연구자가 적절한 통계적 방법을 선택할 수 있도록 도와주는 통계적 숙련도 모델을 개발하기 위해.
• 투자 수익률과 같은 측정 가능한 기여도를 포함한 실질적 의의를 주장하기 위한 프레임워크를 제안하기 위해.
• 경험적 소프트웨어 공학 연구에서 통계적 분석의 체계화를 통해 재현 가능성과 방법론적 엄밀함을 향상시키기 위해.

제안 방법

• 통계적 숙련도 평가를 위한 검토 프로토콜과 기준 자료를 확보하기 위해 상위 4개의 소프트웨어 공학 저널 논문을 수작업으로 검토하였다.
• 확립된 프로토콜을 활용해 2001년부터 2015년까지의 3,011편의 경험적 소프트웨어 공학 논문을 반자동으로 분류하였다.
• 수작업으로 검토한 데이터셋을 기반으로 분류 시스템을 훈련시켜 연구 분야 내 통계적 관행의 추세를 평가하였다.
• 연구자가 방법 선택에 도움이 되는 단계별로 구분된 통계적 숙련도 모델을 개발하였다.
• 비용-편익 분석 및 투자 수익률과 같은 실질적 영향을 강조하는 실질적 의의 평가 프레임워크를 통합하였다.
• 추론을 강화하고 실질적 관련성에 대한 주장에 더 강력한 근거를 제공하기 위해 베이지안 분석의 사용을 권장하였다.

실험 결과

연구 질문

• RQ1 2015년 기준 경험적 소프트웨어 공학 연구에서의 통계적 숙련도 수준은 어떠한가?
• RQ2 이 분야의 연구들은 통계적 결과를 소프트웨어 공학 실무자에게 실질적 의의로 연결하는 데 얼마나 성공하고 있는가?
• RQ3 2001년부터 2015년까지 경험적 소프트웨어 공학 연구에서 통계적 관행은 어떻게 변화해 왔는가?
• RQ4 소프트웨어 공학에서 통계적 결과와 실제 영향을 연결하는 데 있어 존재하는 방법론적 격차는 무엇인가?
• RQ5 통계적 숙련도 모델은 연구자가 적절한 통계적 접근법을 선택하고 실질적 관련성을 높이는 데 어떻게 기여할 수 있는가?

주요 결과

• 경험적 소프트웨어 공학 연구의 통계적 숙련도는 상승 추세를 보이며, 특히 비모수 통계와 정량적 분석 분야에서 두드러진다.
• 방법론적 진전에도 불구하고 많은 연구들이 통계적 결과를 소프트웨어 공학 실무의 실질적 의의와 연결하지 못하고 있다.
• 대부분의 경험적 연구에서 투자 수익률이나 비용-편익 분석과 같은 실질적 기여에 대한 명시적 논의가 뚜렷하게 부족하다.
• 제안된 통계적 숙련도 모델은 연구자가 방법 선택에 도움이 되고 통계적 분석의 일관성을 높이기 위한 체계적인 프레임워크를 제공한다.
• 추론을 강화하고 실질적 의의에 대한 주장에 더 강력한 근거를 제공하기 위해, 베이지안 분석의 통합을 제안한다.
• 재현 가능성 문제는 여전히 도전 과제이며, 많은 연구에서 방법론적 투명성과 보고 기준에 충분한 관심이 기울여지지 않고 있다.