[論文レビュー] Why is Differential Evolution Better than Grid Search for Tuning Defect Predictors?

Wei Fu, Vivek Nair+1 more|arXiv (Cornell University)|Sep 8, 2016

Software Engineering Research参考文献 36被引用数 33

ひとこと要約

この論文は、ソフトウェア工学における欠陥予測子のチューニングに、微分進化（DE）とグリッドサーチを比較し、17のデータセット全体でDEがグリッドサーチの210倍以上も高速である一方で、同等またはより良いパフォーマンススコアを達成することを発見した。著者らは、この結果を欠陥予測データの低い内部次元性に起因すると説明している。これにより、DEのような確率的探索手法が、網羅的だが遅いグリッドサーチよりも効果的であるとされる。

ABSTRACT

Context: One of the black arts of data mining is learning the magic parameters which control the learners. In software analytics, at least for defect prediction, several methods, like grid search and differential evolution (DE), have been proposed to learn these parameters, which has been proved to be able to improve the performance scores of learners. Objective: We want to evaluate which method can find better parameters in terms of performance score and runtime cost. Methods: This paper compares grid search to differential evolution, which is an evolutionary algorithm that makes extensive use of stochastic jumps around the search space. Results: We find that the seemingly complete approach of grid search does no better, and sometimes worse, than the stochastic search. When repeated 20 times to check for conclusion validity, DE was over 210 times faster than grid search to tune Random Forests on 17 testing data sets with F-Measure Conclusions: These results are puzzling: why does a quick partial search be just as effective as a much slower, and much more, extensive search? To answer that question, we turned to the theoretical optimization literature. Bergstra and Bengio conjecture that grid search is not more effective than more randomized searchers if the underlying search space is inherently low dimensional. This is significant since recent results show that defect prediction exhibits very low intrinsic dimensionality-- an observation that explains why a fast method like DE may work as well as a seemingly more thorough grid search. This suggests, as a future research direction, that it might be possible to peek at data sets before doing any optimization in order to match the optimization algorithm to the problem at hand.

研究の動機と目的

• 微分進化（DE）とグリッドサーチのどちらが、パフォーマンスと実行時間の観点から欠陥予測子のハイパーパrameterチューニングに優れているかを評価すること。
• DEのような確率的手法が、網羅的ではあるが遅いグリッドサーチを上回る理由を、欠陥予測の機械学習モデルチューニングの文脈で調査すること。
• 内部次元性が、DEがグリッドサーチを上回る効率性を示す背景として果たす役割を明らかにすること。
• データ固有の特性（次元性など）に基づいて最適化アルゴリズムを選択するための実証的根拠を提供すること。

提案手法

• 本研究では、SEACRAFTリポジトリから入手可能な17の公開済み欠陥予測データセットを用い、各データセットに14の静的コードメトリクスを特徴量として使用した。
• CARTおよびランダムフォレストの2つの学習器に対して、3つのチューニング手法（微分進化（DE）、グリッドサーチ、ランダムサーチ）を適用した。
• パフォーマンスはAUC、AUC_{20}、適合率、F-Measureを用いて評価し、安定性を確保するため20回の独立実行を実施した。
• 実行時間コストは、全データセットにおける各チューニングプロセスの開始時刻と終了時刻を記録することで測定した。
• 統計的有意性は、繰り返し実行におけるDEとグリッドサーチの結果を比較するためにScott-Knott非パラメトリック検定を用いた。
• 理論的説明は、BergstraとBengioの主張に基づき、低次元空間ではランダムおよび確率的探索がグリッドサーチを上回ることを支持する。これに加え、PapakroniとProvenceの実証的発見（欠陥予測データに低内部次元性が存在すること）も根拠として用いた。

実験結果

リサーチクエスチョン

• RQ1 RQ1: ハイパーパrameterチューニングは、欠陥予測子のパフォーマンスを向上させるか？
• RQ2 RQ2: AUC、AUC_{20}、適合率、F-Measureの観点から、グリッドサーチはDEよりも統計的に優れているか？
• RQ3 RQ3: 実行時間コストの観点から、DEはグリッドサーチよりも効率的か？
• RQ4 RQ4: DEは網羅的でないにもかかわらず、なぜグリッドサーチと同等またはそれ以上の性能を発揮するのか？
• RQ5 RQ5: 内部次元性は、チューニング手法間の観察されたパフォーマンス差を説明できるか？

主な発見

• 微分進化（DE）は、17の欠陥予測データセットすべてにおいて、グリッドサーチと同等またはより良いパフォーマンススコアを達成した。AUC、AUC_{20}、適合率、F-Measureに顕著な劣化は認められなかった。
• CARTを用いた適合率を指標とした場合、グリッドサーチがDEを上回ったのは全17データセットのうち6つにとどまり、明確な優位性は示されなかった。
• ランダムフォレストをチューニングする際、DEは17のデータセット全体で平均してグリッドサーチの210倍以上も高速であった。実行時間コストが顕著に削減された。
• 結果から、欠陥予測データの低い内部次元性（先行研究で確認済み）が、DEのような確率的手法がグリッドサーチを上回る理由を説明していると考えられる。
• 20回の繰り返し実行により、DEのパフォーマンスと効率性が一貫した結果を示し、複数回の試行においても有効性が裏付けられた。
• 本研究は、高性能な欠陥予測子を構築するにはチューニングが不可欠であり、DEが速度と効果性の両面で優れているため、特に低次元データ空間においては優れた選択肢であると結論づけた。