[論文レビュー] Better Predictors for Issue Lifetime

Mitch Rees-Jones, Matthew Martin+1 more|arXiv (Cornell University)|Feb 24, 2017

Software Engineering Research参考文献 11被引用数 12

ひとこと要約

本稿では、相関特徴選択（CFS）と小規模な決定木を用いて、ソフトウェアプロジェクトにおけるイシューの寿命予測のための単純で解釈可能な手法を提案する。この手法は、中央値で71%の高い正確性と中央値で13%の低い誤報率を達成し、先行研究を上回っている。さらに、複雑な転移学習の調整を施さなくても、クロスプロジェクトのデータが、効果的な予測器を訓練するための強固なデフォルトとして機能することが示された。

ABSTRACT

Predicting issue lifetime can help software developers, managers, and stakeholders effectively prioritize work, allocate development resources, and better understand project timelines. Progress had been made on this prediction problem, but prior work has reported low precision and high false alarms. The latest results also use complex models such as random forests that detract from their readability. We solve both issues by using small, readable decision trees (under 20 lines long) and correlation feature selection to predict issue lifetime, achieving high precision and low false alarms (medians of 71% and 13% respectively). We also address the problem of high class imbalance within issue datasets - when local data fails to train a good model, we show that cross-project data can be used in place of the local data. In fact, cross-project data works so well that we argue it should be the default approach for learning predictors for issue lifetime.

研究の動機と目的

• 先行研究がランダムフォレストのような複雑なモデルを用いていたのに対し、イシュー寿命予測における正確性の向上と誤報の低減を図ること。
• 開発者やマネージャーによる採用を促進するため、人間が読みやすい解釈可能な予測器を構築すること。
• ローカルデータが性能が低いかデータ不足のため失敗した場合に、クロスプロジェクトデータがローカルデータに代わって効果的に機能するかどうかを調査すること。
• この予測タスクにおいて、単純で軽量なモデル（例：単一の決定木）と複雑なモデル（例：ランダムフォレスト）の有効性を評価すること。
• イシュー寿命予測における転移学習が、複雑なデータ調整を要するものか、それとも単純なクロスプロジェクト転送が効果的に機能するのかを評価すること。

提案手法

• イシューメタデータおよび文脈的データから、最も予測に寄与する非冗長な特徴を特定するための相関特徴選択（CFS）による特徴選択。
• 解釈可能性と単純さを保証するため、選択された特徴に基づいて単一の決定木モデル（C4.5を用いて）を訓練する。
• ラウンドロビンクロスプロジェクト学習の適用：モデルは他のプロジェクトのデータで学習させ、ターゲットプロジェクトでテストする。
• 二値分類アプローチを採用し、N個の閾値（N=5）を用いて、イシューが指定された時間窓の前後にクローズするかどうかを予測する。
• 時系列的データ漏洩を回避するため、イシュー作成時時点で利用可能な静的特徴のみを用いる。
• 交差検証とラウンドロビンテストを用いて、正確性、再現率、誤報率を指標としてモデル性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 CFSと決定木を用いた単純で解釈可能なモデルが、ランダムフォレストを用いた先行研究よりも高い正確性と低い誤報率を達成できるか？
• RQ2 データ調整なしのクロスプロジェクト学習は、特にローカルデータが失敗した場合に、ローカル学習と同等またはそれ以上の性能を示すか？
• RQ3 文脈的特徴のみで十分な正確性のイシュー寿命予測が可能か、それともコードレベルのメトリクスが必要か？
• RQ4 20行未満のコードで記述できる軽量なモデルが、高い正確性とステークホルダーに容易に説明可能であるか？
• RQ5 イシュー寿命予測における転移学習は、複雑なフィルタリングや変換を施さずに、単純にプロジェクト間で生データを転送するだけで十分に機能するか？

主な発見

• 提案手法は中央値で71%の正確性と中央値で13%の誤報率を達成し、先行研究が報告した25%未満の正確性と60%を超える誤報率と比べて顕著に優れていた。
• クロスプロジェクト学習は一貫してローカル学習を上回り、特にcocoon、hadoop、hive、kafka、node、ofbiz、qpidなどのプロジェクトでローカルモデルが失敗した場合でも効果的な予測が可能であった。
• CFSを用いた特徴選択により、すべてのデータセットでモデル性能が向上し、プロジェクトごとに異なる特徴が選択されたため、普遍的な最良の特徴セットは存在しないことが示された。
• CFSで前処理された特徴に基づいて学習された単純な決定木（20行未満）は、非常に解釈可能であり、ランダムフォレストのような複雑なモデルよりも効果的であった。
• クロスプロジェクトデータはあまりに優れた性能を示したため、著者らは、関連性フィルタリングや次元削減変換などのデータ調整を施さなくても、イシュー寿命予測器を訓練する際のデフォルト手法として採用すべきだと主張している。
• 本研究では、イシュー本文の長さやコミットパターンといった文脈的特徴が、静的コードメトリクスの最小限の必要性でさえも、高精度な予測に十分であることが判明した。