[論文レビュー] Predictive Models in Software Engineering: Challenges and Opportunities

Yanming Yang, Xin Xia+4 more|arXiv (Cornell University)|Aug 9, 2020

Software Engineering Research被引用数 7

ひとこと要約

本論文は、2009年から2019年までのソフトウェア工学分野における予測モデル研究145件を体系的調査し、主なモデル、応用分野、評価指標、および課題を同定した。深層学習の利用が増加していることが明らかになり、特にCNNやRNNが顕著である。一方、要件やテスト分野はまだ十分に掘り下げられていないことが判明し、今後の研究の方向性として、モデル選択、特徴工学、メタラーニングの強化が提案されている。これにより、ソフトウェア品質と開発効率の向上が期待される。

ABSTRACT

Predictive models are one of the most important techniques that are widely applied in many areas of software engineering. There have been a large number of primary studies that apply predictive models and that present well-preformed studies and well-desigeworks in various research domains, including software requirements, software design and development, testing and debugging and software maintenance. This paper is a first attempt to systematically organize knowledge in this area by surveying a body of 139 papers on predictive models. We describe the key models and approaches used, classify the different models, summarize the range of key application areas, and analyze research results. Based on our findings, we also propose a set of current challenges that still need to be addressed in future work and provide a proposed research road map for these opportunities.

研究の動機と目的

• 過去10年間におけるソフトウェア工学における予測モデリング分野の最先端状況を体系的に分析すること。
• ソフトウェア工学研究において最も一般的に使用されている予測モデル、評価指標、応用分野を特定すること。
• 予測モデルの効果的導入を阻害する要因となる、データセット品質、特徴選択、モデル評価に関する深刻な課題を特定すること。
• 将来の研究のロードマップを提示すること。特に、要件工学やテスト分野のような未開拓分野に焦点を当て、メタラーニングや高度な特徴工学の機会を強調すること。

提案手法

• 2009年から2019年までに、ICSE、ASE、FSE、TSE、TOSEM、EMSEなどの上位レベルのソフトウェア工学会議を対象に、体系的文献レビューを実施した。
• タイトルと要旨を用いて2,000件以上の論文をスクリーニングし、要旨と序論の全文レビューを通じて関連性を検証した。
• 関連性と方法論的厳密性に基づき、145件の高品質な一次研究を抽出した。
• 予測モデルを3つのカテゴリに分類した：ベースラーナー、アンサンブルラーナー、ディープラーナー。
• 10種類の一般的に使用される指標を用いてモデル評価を分析した。その中で、再現率、適合率、F-measureが最も頻繁に使用された。
• ソフトウェア開発ライフサイクル全体にわたる応用を6つの分野にマッピングした：要件、設計／開発、テスト／デバッグ、保守、およびプロフェッショナルプラクティス。

実験結果

リサーチクエスチョン

• RQ1 2009年から2019年の間に、ソフトウェア工学研究で最も広く使われた予測モデルおよび機械学習技術は何か？
• RQ2 予測モデルはどのソフトウェア工学分野で最も頻繁に応用されており、その応用における主な技術的課題は何か？
• RQ3 ソフトウェア工学タスクにおける予測モデルのパフォーマンスを評価するために最も一般的に使用される指標は何か？
• RQ4 データセット品質、特徴選択、モデル評価における主な未解決課題は何か？これらは予測モデルの導入と有効性を制限している。
• RQ5 要件やテストのような未開拓分野を含め、ソフトウェア工学における予測モデリングを強化するための、最も有望な将来の研究方向性は何か？

主な発見

• ソフトウェア工学における予測モデル研究の数は、2009年から2019年にかけて一貫した上昇傾向を示しており、多くの研究が新規アプローチを提案している。
• 52種類の異なる予測モデルが同定された。その中で、ロジスティック回帰とナイーブベイズが最も広く使われたベースラーナーであり、SVMと決定木も頻繁に使用された。
• 深層学習の採用は増加傾向にあり、特にコードスミス検出やAPIの問題分類といったタスクにおいて、CNNとRNNが最も人気のある深層学習アーキテクチャとなっている。
• 欠陥予測が最も一般的な応用分野であり、11の一般的な研究トピックのうち7つがソフトウェア保守および品質評価に該当する。
• 再現率、適合率、F-measureが最も頻繁に使用された評価指標であり、不均衡なデータセットにおける分類性能に強い関心が集まっていることが示唆される。
• 主な課題には、データセット品質の低さ、特徴選択の不一致、標準化された評価指標の欠如、および異なるソフトウェア工学タスクにおけるモデル選択のためのガイドライン不足が含まれる。