[論文レビュー] The Impact of Automated Parameter Optimization on Defect Prediction Models

Chakkrit Tantithamthavorn, Shane McIntosh+2 more|arXiv (Cornell University)|Jan 31, 2018

Software Engineering Research参考文献 133被引用数 27

ひとこと要約

本研究では、18のデータセットと26種類の分類手法を用いて、ソフトウェア欠陥予測モデルにおける自動パラメータ最適化を調査した。最適化によりAUC性能が最大40百分率ポイント向上し、モデルの安定性が向上し、変数の重要度順位が顕著に変化し、特にC5.0 やニューラルネットワークのようなあまり使われない分類器において、データセット間で最適な設定を転送可能であることが示された。

ABSTRACT

Defect prediction models---classifiers that identify defect-prone software modules---have configurable parameters that control their characteristics (e.g., the number of trees in a random forest). Recent studies show that these classifiers underperform when default settings are used. In this paper, we study the impact of automated parameter optimization on defect prediction models. Through a case study of 18 datasets, we find that automated parameter optimization: (1) improves AUC performance by up to 40 percentage points; (2) yields classifiers that are at least as stable as those trained using default settings; (3) substantially shifts the importance ranking of variables, with as few as 28% of the top-ranked variables in optimized classifiers also being top-ranked in non-optimized classifiers; (4) yields optimized settings for 17 of the 20 most sensitive parameters that transfer among datasets without a statistically significant drop in performance; and (5) adds less than 30 minutes of additional computation to 12 of the 26 studied classification techniques. While widely-used classification techniques like random forest and support vector machines are not optimization-sensitive, traditionally overlooked techniques like C5.0 and neural networks can actually outperform widely-used techniques after optimization is applied. This highlights the importance of exploring the parameter space when using parameter-sensitive classification techniques.

研究の動機と目的

• 異なるデータセットにおいて、自動パラメータ最適化が欠陥予測モデルの性能に与える影響を評価すること。
• 最適化されたパラメータが、ソフトウェアシステム全体にわたってモデルの安定性、解釈可能性、および転送可能性を向上させるかどうかを評価すること。
• グリッドサーチ、ランダムサーチ、遺伝的アルゴリズム、および微分進化の4つの最適化手法の計算コストと有効性を比較すること。
• 従来は軽視されがちな分類器（例：C5.0、ニューラルネットワーク）が、適切にチューニングされた場合に、広く使われているもの（例：ランダムフォレスト、SVM）を上回る可能性があるかどうかを特定すること。
• あるデータセットで得られた最適パラメータ設定を、他のデータセットにそのまま適用した場合に、性能の著しい低下が生じないかどうかを調査すること。

提案手法

• グリッドサーチ、ランダムサーチ、遺伝的アルゴリズム、微分進化の4つの自動パラメータ最適化手法を、26種類の分類アルゴリズムに適用した。
• 性能評価に12の指標を用いた：3つのしきい値非依存指標（例：AUC）と9つのしきい値依存指標（例：適合率、再現率）。
• Eclipse、Mylyn、Xalan、Apache Commons を含む、オープンソースおよびプロプライエタリシステムからの18の実世界のソフトウェアデータセットを対象とした事例研究を実施した。
• 性能の安定性を測定し、結果の頑健性を保証するために、10分割交差検証を実施した。
• 最適化後の特徴量順位の変化を評価するために、変数の重要度分析を実施した。
• パラメータの転送可能性をテストするため、あるデータセットで最適化された設定を他のデータセットに適用し、性能低下を測定した。

実験結果

リサーチクエスチョン

• RQ1 自動パラメータ最適化は、欠陥予測モデルのAUC性能をどの程度向上させるか？
• RQ2 パラメータ最適化は、異なるデータセット間で欠陥予測モデルの安定性にどのように影響するか？
• RQ3 最適化後、変数の重要度順位はどのように変化するか？ また、上位特徴量の順位はどの程度保持されるか？
• RQ4 あるデータセットで得られた最適パラメータ設定を、他のデータセットに転送しても、性能の著しい低下が生じないか？
• RQ5 さまざまな分類手法に応用する際の、自動パラメータ最適化の計算コストはどの程度か？

主な発見

• 自動パラメータ最適化により、AUC性能が最大40百分率ポイント向上し、26種類の分類手法のうち16種類で著しい向上が確認された。
• 最適化されたモデルは、デフォルト設定モデルと同等以上に安定しており、データセット間で分散が著しく増加したことはなかった。
• 最適化モデルで上位にランクされた変数のうち28%しか、非最適化モデルでも上位にランク付けされていなかったため、特徴量の重要度順位に顕著なシフトが生じたことが示された。
• 20個の最も感度の高いパラメータのうち17個について、最適設定が他のデータセットへ転送可能であり、統計的に有意な性能低下が生じなかった。
• 調査された26種類の分類手法のうち、12種類について最適化の追加計算コストは30分未満であった。
• 従来は軽視されがちな分類器、特にC5.0 やニューラルネットワークは、最適化を経ることで、広く使われている手法（例：ランダムフォレスト、SVM）を上回る性能を示した。これは、感度の高いアルゴリズムにおいて、パラメータチューニングの重要性を強調している。