[논문 리뷰] Arguing Practical Significance in Software Engineering Using Bayesian Data Analysis.

Richard Torkar, Robert Feldt외 1명|arXiv (Cornell University)|2018. 09. 26.

Software Engineering Research참고 문헌 53인용 수 5

한 줄 요약

이 논문은 실증 소프트웨어 공학에서 실질적 의의를 더 잘 평가하기 위해 베이지안 데이터 분석(BDA)과 누적가망이론(CPT)을 결합할 것을 주장한다. 다수준 베이지안 모델링, 샘플 외 예측 및 불확실성 정량화를 통해 유의미도 검정의 p-값을 넘어서는 이론적으로 탄탄하고 실용적인 워크플로우를 제공함으로써 통계적 결과와 실제 영향을 연결한다.

ABSTRACT

This paper provides a case for using Bayesian data analysis (BDA) to make more informed claims regarding practical significance of software engineering research. We show that using BDA, here combined with cumulative prospect theory (CPT), is appropriate when a researcher or practitioner wants to make more explicit connections between statistical findings and practical significance in empirical software engineering research. To illustrate our point, we provide an example case using previously published data. We build a multilevel Bayesian model for this data, for which we compare the out of sample predictive power. Finally, we use our model to make out of sample predictions while, ultimately, connecting this to practical significance using CPT. Throughout the case that we present, we argue that a Bayesian approach is a natural, theoretically well-grounded, practical work-flow for data analysis in empirical software engineering. By including prior beliefs, assuming parameters are drawn from a probability distribution, assuming the true value is a random variable for uncertainty intervals, using counter-factual plots for sanity checks, conducting predictive posterior checks, and out of sample predictions, we will better understand the phenomenon being studied, while at the same time avoid the obsession with $p$-values.

연구 동기 및 목표

• 실증 소프트웨어 공학 연구에서 통계적 발견과 실질적 의의를 연결하는 데 있어 발생하는 격차를 해소하기 위해.
• 소프트웨어 공학 연구에서 p-값과 귀무가설 유의미도 검정(NHST)에 대한 과도한 의존도를 줄이기 위해.
• 기존 믿음과 불확실성을 통합하는 이론적으로 탄탄하고 실용적인 데이터 분석 워크플로우를 개발하기 위해.
• 베이지안 모델링이 샘플 외 예측과 반사적 추론을 어떻게 지원하는지 보여주기 위해.
• 누적가망이론(CPT)을 사용하여 통계적 결과를 실질적 의사결정으로 연결하기 위해.

제안 방법

• 이전에 발표된 소프트웨어 공학 데이터를 분석하기 위해 다수준 베이지안 모델을 구축하기 위해.
• 모델 파라미터에 대한 기존 믿음을 표현하기 위해 사전분포를 사용하며, 진짜 값은 랜덤 변수로 간주하기 위해.
• 불확실성을 표현하기 위해 확률분포를 적용하여 신뢰구간 대신 신뢰구간을 가능하게 하기 위해.
• 모델 적합도 검증 및 모델 행동의 타당성 검증을 위해 예측 후행 검증을 수행하기 위해.
• 모델 성능과 실용적 유용성을 평가하기 위해 샘플 외 예측을 생성하기 위해.
• 통계적 발견을 의사결정 맥락에서 실질적 의의로 매핑하기 위해 누적가망이론(CPT)을 통합하기 위해.

실험 결과

연구 질문

• RQ1 베이지안 데이터 분석은 소프트웨어 공학 연구에서 실질적 의의 평가를 어떻게 향상시킬 수 있는가?
• RQ2 기존 믿음과 불확실성을 통합할 경우 통계적 결과의 해석 가능성은 얼마나 향상되는가?
• RQ3 베이지안 모델의 샘플 외 예측은 전통적인 p-값을 넘어서 실질적인 통찰을 제공할 수 있는가?
• RQ4 누적가망이론(CPT)은 통계적 발견을 실질적 의사결정으로 번역하는 데 어떻게 기여하는가?
• RQ5 실증 소프트웨어 공학에서 전통적인 NHST에 비해 베이지안 워크플로우는 어떤 이점을 제공하는가?

주요 결과

• 베이지안 접근법은 통계적 결과와 실질적 영향 사이의 더 투명하고 해석 가능한 연결을 가능하게 한다.
• 다수준 베이지안 모델의 샘플 외 예측 성능은 향후 예측에 대해 강건성과 신뢰성을 보여준다.
• 반사적 플롯과 후행 예측 검증을 통해 모델 행동이 검증되고 결과에 대한 자신감이 향상된다.
• 누적가망이론(CPT)의 통합은 의사결정 이론 프레임워크 내에서 실질적 의의를 평가할 수 있도록 한다.
• p-값을 불확실성 간격과 예측 검증으로 대체함으로써, 통계적 유의미함을 실질적 중요성으로 오해할 위험을 줄인다.
• 제안된 워크플로우는 실제 소프트웨어 공학 의사결정과 일치하는 원칙적이고 이론에 기반한 데이터 분석 접근법을 지원한다.