[論文レビュー] A Method to Assess and Argue for Practical Significance in Software Engineering

Richard Torkar, Carlo A. Furia+5 more|arXiv (Cornell University)|Sep 26, 2018

Software Engineering Research参考文献 39被引用数 20

ひとこと要約

本稿は、累積的プロスペクトラリズムを組み込んだベイジアン統計枠組みを提案し、実験的ソフトウェア工学における実用的有意性を厳密に評価する手法を提示する。多層ベイジアン回帰でデータをモデル化し、確率的結果を分野固有の効用指標（例：コスト、時間）に変換することで、実務家が文脈に配慮した意思決定を下せるようにする。この手法は、従来のp値ベースの分析と比較して意思決定者の信頼度を向上させることを実証済みである。

ABSTRACT

A key goal of empirical research in software engineering is to assess practical significance, which answers whether the observed effects of some compared treatments show a relevant difference in practice in realistic scenarios. Even though plenty of standard techniques exist to assess statistical significance, connecting it to practical significance is not straightforward or routinely done; indeed, only a few empirical studies in software engineering assess practical significance in a principled and systematic way. In this paper, we argue that Bayesian data analysis provides suitable tools to assess practical significance rigorously. We demonstrate our claims in a case study comparing different test techniques. The case study's data was previously analyzed (Afzal et al., 2015) using standard techniques focusing on statistical significance. Here, we build a multilevel model of the same data, which we fit and validate using Bayesian techniques. Our method is to apply cumulative prospect theory on top of the statistical model to quantitatively connect our statistical analysis output to a practically meaningful context. This is then the basis both for assessing and arguing for practical significance. Our study demonstrates that Bayesian analysis provides a technically rigorous yet practical framework for empirical software engineering. A substantial side effect is that any uncertainty in the underlying data will be propagated through the statistical model, and its effects on practical significance are made clear. Thus, in combination with cumulative prospect theory, Bayesian analysis supports seamlessly assessing practical significance in an empirical software engineering context, thus potentially clarifying and extending the relevance of research for practitioners.

研究の動機と目的

• 実験的ソフトウェア工学研究における実用的有意性の体系的評価の欠落を埋める。
• p値や効果量への依存を脱却し、コスト、時間、人的リソースといった現実世界の指標に基づいて有意性を定義する。
• 専門家知識の統合と不確実性の伝播を可能にする手法を提供し、より透明性が高く、実行可能な研究結果を実現する。
• 研究の影響を実務家に効果的に伝えるために、意思決定に直結する効用指標で結果を表現する。
• 小規模な実証研究を通じて、この手法が意思決定者の信頼度を向上させることを検証する。

提案手法

• ソフトウェアテストの事例研究から得られた実証データを分析するための多層ベイジアンモデルを開発し、チームや文脈ごとのばらつきを捉える。
• 専門家知識に基づく情報的事前分布を用いて、分野固有の制約を組み込み、過剰適合を低減する。
• 累積的プロスペクトラリズム（CPT）を適用し、事後予測確率をリスク志向性や意思決定のトレードオフを反映した効用値に変換する。
• 統計的結果を現実世界の影響を反映する実用的指標（例：時間当たりコスト、プログラマーの経験年数）に変換する。
• モデル診断（例：事前予測チェック、情報量基準）を用いて、妥当性を確認し、過剰適合を回避する。
• マネージャーのアンケートを通じて、ベイジアン-CPTによる提示と従来の頻度主義的結果との間で意思決定の信頼度を比較して手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 ソフトウェア工学研究における実用的有意性を、体系的かつ文脈に配慮した方法でどのように評価できるか？
• RQ2 ベイジアンモデリングと累積的プロスペクトラリズムを組み合わせることで、意思決定者の研究結果に対する信頼度はどの程度向上するか？
• RQ3 分野固有の指標（例：コスト、時間）を、統計的に厳密な方法で実用的有意性を表現するために効果的に利用できるか？
• RQ4 提案手法は不確実性をどのように扱い、実務意思決定にまで伝播させるか？
• RQ5 ベイジアン-CPTアプローチは、研究の関連性を伝える点で、従来の帰無仮説検定に比べてどのように優れているか？

主な発見

• ベイジアン-CPTアプローチは、従来のp値ベースの報告と比較して、テスト手法の選択における意思決定者の信頼度を向上させた。
• この手法は、時間当たりコストやプログラマーの経験年数といった、実務に即した指標に統計的結果を的確に変換できた。
• データ内の不確実性がモデル全体に明確に伝播され、ばらつきが実務的意思決定に与える影響が可視化され、定量的に評価可能であった。
• モデル比較と診断チェックにより、ベイジアンモデルの妥当性が確認され、過剰適合や不安定性の兆候は認められなかった。
• 累積的プロスペクトラリズムの使用により、実務家がリスクやトレードオフをどのように認識しているか、より現実的な表現が可能になった。
• このアプローチは、統計的モデリングと行動的意思決定理論を組み合わせることで、実用的有意性を体系的に主張できる可能性を示した。