[論文レビュー] Does chronology matter in JIT defect prediction? A Partial Replication Study

Hadi Jahanshahi, Dhanya Jothimani+2 more|arXiv (Cornell University)|Mar 5, 2021

Software Engineering Research参考文献 27被引用数 5

ひとこと要約

本研究では、コード変更データの時系列的順序がジャストインタイム（JIT）欠陥予測モデルに与える影響を調査する。5つのコード変更特性ファミリー（サイズ、拡散、履歴、経験、目的）と4つのオープンソースプロジェクトにおけるランダムフォレストモデルを用いて、モデルの予測性能は時間経過に伴って安定しているが、特性の重要度は変動することが判明した。主な貢献は、最近のデータを優先することでモデルのキャリブレーションを向上させる重み付きサンプリング手法であり、歴史的データの広がりを損なわずに性能を向上させることを可能にする。

ABSTRACT

Just-In-Time (JIT) models detect the fix-inducing changes (or defect-inducing changes). These models are designed based on the assumption that past code change properties are similar to future ones. However, as the system evolves, the expertise of developers and/or the complexity of the system also changes. In this work, we aim to investigate the effect of code change properties on JIT models over time. We also study the impact of using recent data as well as all available data on the performance of JIT models. Further, we analyze the effect of weighted sampling on the performance of fix-inducing properties of JIT models. For this purpose, we used datasets from Eclipse JDT, Mozilla, Eclipse Platform, and PostgreSQL. We used five families of change-code properties such as size, diffusion, history, experience, and purpose. We used Random Forest to train and test the JIT model and Brier Score and the area under the ROC curve for performance measurement. Our paper suggests that the predictive power of JIT models does not change over time. Furthermore, we observed that the chronology of data in JIT defect prediction models can be discarded by considering all the available data. On the other hand, the importance score of families of code change properties is found to oscillate over time. To mitigate the impact of the evolution of code change properties, it is recommended to use a weighted sampling approach in which more emphasis is placed upon the changes occurring closer to the current time. Moreover, since properties such as "Expertise of the Developer" and "Size" evolve with time, the models obtained from old data may exhibit different characteristics compared to those employing the newer dataset. Hence, practitioners should constantly retrain JIT models to include fresh data.

研究の動機と目的

• McIntoshとKamei（2020）のJIT欠陥予測に関する報告を部分的再現アプローチを用いて検証および拡張すること。
• ソフトウェアシステムの進化に伴い、JITモデルの予測性能が時間経過とともに低下するかどうかを調査すること。
• コード変更特性（例：サイズ、開発者エキスパート）の重要度が時間経過とともにどのように変化するかを分析すること。
• 全歴史的データの使用と最近のデータのみの使用が、モデル性能に与える影響を評価すること。
• 最近の変更を優先する重み付きサンプリング戦略を提案・評価することにより、モデルのキャリブレーションと識別力の向上を図ること。

提案手法

• Eclipse JDT、Mozilla、Eclipse Platform、PostgreSQLの4つのオープンソースプロジェクトのデータセットを用いて、元のJIT欠陥予測研究を再現した。
• バージョン管理およびイシュー追跡データから、サイズ、拡散、履歴、経験、目的の5つのコード変更特性ファミリーを抽出した。
• Brierスコア（BS）および受信器操作特性曲線下積分（AUC）を性能指標として用い、ランダムフォレストモデルを訓練および評価した。
• すべての利用可能なデータを用いた学習と最近のデータサブセットを用いた学習との間でモデル性能を統計的に比較するため、ウィルコクソン符号順位検定を適用した。
• 最近の変更に高い重みを付与することで、進化するコード特性を反映する重み付きサンプリング戦略を提案し、評価した。
• SZZアルゴリズムを用いて、修正を引き起こす変更を同定したが、コミット-バグマッピングにおける既知の限界に注意を払った。

実験結果

リサーチクエスチョン

• RQ1 RQ1: ソフトウェアシステムの進化に伴い、JITモデルの予測性能は時間経過に伴って低下するか？
• RQ2 RQ2: コード変更特性と修正誘発確率の関係は、時間経過とともに変化するか？
• RQ3 RQ3: 時系列的順序を考慮した重み付きサンプリング戦略を用いることで、JITモデルの性能を向上させられるか？

主な発見

• JITモデルの予測性能は時間経過に伴って安定しており、歴史的データで学習したモデルが時間の経過とともに著しく精度を失わないことが示された。
• コード変更特性ファミリー（例：サイズ、エキスパート度）の重要度スコアは時間経過とともに変動しており、特定の特徴量の関連性がシステムの老朽化に伴い変化することを示唆している。
• 最近のデータ（例：直近6か月）のみを用いることで、AUCスコアが類似しているにもかかわらず、モデルのキャリブレーションと識別力が、全歴史的データを用いる場合よりも優れていることがわかった。
• 提案された重み付きサンプリング手法により、Brierスコア（BS）が改善され、最近の変更を強調しつつも大規模なトレーニングデータの利点を維持できるようになった。
• 全利用可能なデータで学習したモデルは、とくに動的特性（開発者エキスパート度やコードサイズ）に関して、古くなった特性相関を反映しており、現在の特徴量依存関係を正しく表現していない可能性がある。
• 結果から、実務家は開発パターンと特性ダイナミクスの現在の状態に合わせて、定期的に最近のデータを用いてJITモデルを再訓練すべきであると示唆された。