[論文レビュー] Arguing Practical Significance in Software Engineering Using Bayesian Data Analysis.

Richard Torkar, Robert Feldt+1 more|arXiv (Cornell University)|Sep 26, 2018

Software Engineering Research参考文献 53被引用数 5

ひとこと要約

この論文は、実証的ソフトウェア工学における実用的有意性の評価を改善するために、ベイジアンデータ分析（BDA）と累積的プロスペクト理論（CPT）を組み合わせることを提唱している。マルチレベルのベイジアンモデリング、予測の外挙、不確実性の定量化を用いることで、p値に依存せず、理論的に裏付けられた実用的なワークフローを提供し、統計的結果と現実世界の影響を結びつける。

ABSTRACT

This paper provides a case for using Bayesian data analysis (BDA) to make more informed claims regarding practical significance of software engineering research. We show that using BDA, here combined with cumulative prospect theory (CPT), is appropriate when a researcher or practitioner wants to make more explicit connections between statistical findings and practical significance in empirical software engineering research. To illustrate our point, we provide an example case using previously published data. We build a multilevel Bayesian model for this data, for which we compare the out of sample predictive power. Finally, we use our model to make out of sample predictions while, ultimately, connecting this to practical significance using CPT. Throughout the case that we present, we argue that a Bayesian approach is a natural, theoretically well-grounded, practical work-flow for data analysis in empirical software engineering. By including prior beliefs, assuming parameters are drawn from a probability distribution, assuming the true value is a random variable for uncertainty intervals, using counter-factual plots for sanity checks, conducting predictive posterior checks, and out of sample predictions, we will better understand the phenomenon being studied, while at the same time avoid the obsession with $p$-values.

研究の動機と目的

• 実証的ソフトウェア工学研究における統計的発見と実用的有意性を結びつけるギャップを埋めること。
• ソフトウェア工学研究におけるp値および帰無仮説の有意性検定への過剰な依存を軽減すること。
• 事前信念と不確実性を組み込む理論的に妥当で実用的なデータ分析ワークフローの開発。
• ベイジアンモデリングが予測外の予測と反事後的推論をどのように支援するかを示すこと。
• 累積的プロスペクト理論（CPT）を用いて統計的結果を意思決定文脈における実用的有意性に変換すること。

提案手法

• 以前に発表されたソフトウェア工学データを分析するためのマルチレベルのベイジアンモデルの構築。
• モデルのパラメータに関する既存の信念を事前分布に組み込むこと。真の値を確率変数として扱う。
• 不確実性を表現するために確率分布を適用し、信頼区間の代わりに信用区間を可能にする。
• モデルの適合度とモデル行動の妥当性を検証するための予測の事後チェックの実施。
• モデルの性能と実用的有用性を評価するための予測外の予測の生成。
• 統計的発見を実用的有意性に変換するための累積的プロスペクト理論（CPT）の統合。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンデータ分析は、ソフトウェア工学研究における実用的有意性の評価をどのように改善できるか？
• RQ2 事前信念と不確実性を組み込むことで、実証的結果の解釈性はどの程度向上するか？
• RQ3 ベイジアンモデルからの予測外の予測は、従来のp値を越えて、実務的インサイトを提供できるか？
• RQ4 累積的プロスペクト理論（CPT）は、統計的発見を実用的意思決定にどのように変換するのを支援するか？
• RQ5 実証的ソフトウェア工学における従来のNHSTに比べて、ベイジアンワークフローがどのような利点を提供するか？

主な発見

• ベイジアンアプローチにより、統計的結果と実用的影響との間のより透明で解釈可能なつながりが可能になる。
• マルチレベルのベイジアンモデルの予測外の予測性能は、将来的な予測に対して頑健で信頼性があることを示している。
• 反事後的プロットと事後予測チェックにより、モデルの行動が検証され、結果に対する信頼が強化される。
• 累積的プロスペクト理論（CPT）の統合により、意思決定理論の枠組み内で実用的有意性を評価できるようになる。
• p値の代わりに不確実性区間と予測チェックを用いることで、統計的有意性を実用的意義と誤解するリスクが低減される。
• 提案されたワークフローは、現実世界のソフトウェア工学意思決定に一致する、原則的で理論的根拠に基づいたデータ分析のアプローチを支援する。