[論文レビュー] Applications of statistical causal inference in software engineering

Julien Siebert|arXiv (Cornell University)|Nov 21, 2022

Bayesian Modeling and Causal Inference被引用数 4

ひとこと要約

本論文は、2010年から2022年までの25篇のソフトウェア工学論文を対象に、ペールの統計的因果推論フレームワークを図的因果モデルを用いて適用した体系的マッピングスタディを実施した。因果推論のSE分野への応用はまだ始まったばかりであり、断片的で、主にソフトウェア品質に集中しており、実装や評価のためのコミュニティ全体での基準がほとんど存在しない。しかし、その手法的潜在力は高まっている。

ABSTRACT

This paper reviews existing work in software engineering that applies statistical causal inference methods. These methods aim at estimating causal effects from observational data. The review covers 32 papers published between 2010 and 2022. Our results show that the application of statistical causal inference methods is relatively recent and that the corresponding research community remains relatively fragmented.

研究の動機と目的

• ソフトウェア工学（SE）におけるペールの統計的因果推論（SCI）フレームワークの適用の広がりと性質を調査すること。
• SE問題に図的因果モデルを適用する際の現在の実践状況、主な研究分野、および手法的トレンドを特定すること。
• SEにおける因果推論の実装や評価に関して、一貫性のあるコミュニティの実践が形成されているかどうかを評価すること。
• SEの実務家や研究者にとって、因果推論手法の潜在的利点と限界を評価するための基盤的概要を提供すること。

提案手法

• キitchenhamとチャーターズの指針に従い、2010年から2022年までの25篇の査読済み論文およびプレプリントを対象に体系的マッピングスタディを実施した。
• 複数の検索クエリを用いた二段階のスノーボール法を適用し、関連文献を同定したが、2ラウンド目で飽和に達した。
• 一貫性を確保するため、選定および分析を1名のレビュアーが実施し、研究者の協議および作業グループによる検証を通じて結果を検証した。
• ペールのdo記法および図的因果モデル（DAG）を適用した論文に限定し、潜在的結果フレームワークのみを用いる論文や、SEに特化しないAI応用論文は除外した。
• 研究分野、手法的アプローチ、応用分野ごとに論文を分類し、パターンやギャップを同定した。
• アクセス性や出版品質の懸念から、修士および博士論文は除外したが、方法論的関連性があるためプレプリントおよび技術報告書は含めた。

実験結果

リサーチクエスチョン

• RQ1 ペールの図的因果モデルフレームワークは、ソフトウェア工学研究においてどの程度、どのような形で応用されているか？
• RQ2 因果推論手法が主にどのソフトウェア工学分野や問題タイプに焦点を当てているか？
• RQ3 SEのデータに因果推論を適用する際の主な手法的アプローチと仮定は何か？
• RQ4 SEにおける因果推論に関して、一貫性のあるコミュニティの実践が形成されつつあるのか、それとも研究分野が断片的なのか？
• RQ5 現在の文献に基づいて、因果推論手法をSEに採用する際の利点、制限、および課題は何か？

主な発見

• ペールの統計的因果推論フレームワークがソフトウェア工学に応用されているのは比較的新しい分野であり、25篇のうち12篇が2020年以降に発表されたにとどまっている。
• 多くの研究がソフトウェア品質分析に焦点を当てており、特にバグの特定やコード品質予測の分野に強く集中している。
• SEにおける因果推論の実装や評価に関して、確立されたコミュニティの実践は存在せず、研究分野全体が断片的であることが示唆されている。
• 因果的図的モデルの使用はまだ始まったばかりであり、多くの研究者がフレームワークを明示的に使用していないが、もしそうすれば恩恵を受ける可能性がある。
• 手法的潜在力は高いが、モデル構築、検証、評価に関する標準的手順がなく、出版バイアスにより性能向上の評価が誇張されている可能性がある。
• 用語の共通理解がなく、「構造的同定」に「因果推論」を、または「反事後的テスト」に「因果分析」を用いるなど、分野全体で概念的・語彙的曖昧さが顕在化している。