[論文レビュー] Statistical and practical significance of empirical software engineering research: A maturity model

Richard Torkar, Robert Feldt+2 more|arXiv (Cornell University)|Jun 3, 2017

Software Engineering Research被引用数 1

ひとこと要約

本論文は、2015年の学術雑誌論文2015篇の手動レビューと、2001年から2015年までの3,011件の研究を半自動分類することに基づいて、実験的ソフトウェア工学研究のための統計的熟成度モデルを提案する。定量的分析およびノンパラメトリック検定における統計的熟成度の上昇が確認されるが、結果と実務的意義の間の重要なギャップが浮き彫りになり、投資利益率などの現実世界への影響を明確に議論するよう提言している。また、推論を強化するためのベイズ分析の導入を推奨する。

ABSTRACT

Software engineering research is maturing and papers increasingly support their arguments with empirical data from a multitude of sources, using statistical tests to judge if and to what degree empirical evidence supports their hypotheses. This paper presents trends and current state of art regarding statistical maturity in empirical software engineering research; the objective being the development of a statistical maturity model. First, we manually reviewed papers from four well-known and top ranked journals producing a review protocol along with the view of current (2015) state of art concerning statistical maturity, practical significance and reproducibility of empirical software engineering research. Our protocol was then used as ground truth, i.e., training set, for a semi-automatic classification of studies for the years 2001--2015 using a total of 3,011 papers. We used the extracted data to develop a statistical maturity model which also includes a model for how to argue for practical significance. The statistical maturity of empirical software engineering research has an upward trend in certain areas (e.g., use of nonparametric statistics, but also more generally in the usage of quantitative analysis). However, we also see how our research area currently often fails to connect the statistical analysis to practical significance. For instance, we argue that conclusions should explicitly state contributions to software engineering practice, e.g., the return on investment for practitioners. We argue that the statistical maturity model can be used by researchers and practitioners to build a coherent statistical analysis and guide them in the choice of statistical approaches of its steps. The final goal for a researcher would be to, in a clearer way, present and argue for the practical significance of their findings. Bayesian analysis, we believe, has a role to play in this.

研究の動機と目的

• 2015年現在における実験的ソフトウェア工学研究の統計的熟成度の現状を評価すること。
• ソフトウェア工学実務において、統計的発見と実務的意義を結びつけることのできない継続的な欠陥を特定すること。
• 研究者が適切な統計的手法を選択できるように支援する統計的熟成度モデルを開発すること。
• 測定可能な貢献（例：投資利益率）を含む、実務的意義を主張するためのフレームワークを提言すること。
• 構造的な統計的分析を通じて再現性と方法論的厳密性を促進すること。

提案手法

• 統計的熟成度の基準と地面真理を確立するために、4つのトップクラスのソフトウェア工学雑誌の論文を手動レビューした。
• 確立したプロトコルを用いて、2001年から2015年までの3,011件の実験的ソフトウェア工学論文を半自動的に分類した。
• 手動レビューのデータセットで訓練された分類システムを用い、研究分野全体における統計的実践の傾向を評価した。
• 研究者が手法選択に役立てるために、明確な段階を有する統計的熟成度モデルを開発した。
• 現実世界への影響（例：費用対効果、投資利益率）を強調する、実務的意義を評価するフレームワークを統合した。
• 推論を強化し、実務的関連性に関する主張をより強く支持するため、ベイズ分析の活用を提言した。

実験結果

リサーチクエスチョン

• RQ1 2015年現在、実験的ソフトウェア工学研究における統計的熟成度の水準はどの程度か？
• RQ2 分野内の研究は、統計的結果をソフトウェア工学実務者にとっての実務的意義にどの程度結びつけているか？
• RQ3 2001年から2015年までの間、実験的ソフトウェア工学研究における統計的実践はどのように変化したか？
• RQ4 ソフトウェア工学における統計的発見と現実世界への影響を結びつける方法論的ギャップは何か？
• RQ5 統計的熟成度モデルは、研究者が適切な統計的手法を選択し、実務的関連性を高めるためにどのように支援できるか？

主な発見

• 実験的ソフトウェア工学研究における統計的熟成度は上行傾向にあり、特にノンパラメトリック統計や定量的分析の利用が顕著である。
• 方法論的進歩にもかかわらず、多くの研究が統計的結果をソフトウェア工学実務における実務的意義に結びつけていない。
• 多くの実験的研究で、投資利益率や費用対効果といった明確な実務的貢献についての議論が欠落している。
• 提案された統計的熟成度モデルは、研究者が手法選択に役立てられ、統計的分析の整合性を高めるための構造的フレームワークを提供する。
• 推論を強化し、実務的意義に関する主張をより強く支持するため、ベイズ分析の統合を提案する。
• 再現性は依然として課題であり、多くの研究で方法論的透明性や報告基準への注意が不足している。