[論文レビュー] While Tuning is Good, No Tuner is Best.

Huy Tu, Vivek Nair|arXiv (Cornell University)|Jul 29, 2018

Machine Learning and Data Classification被引用数 6

ひとこと要約

本研究では、欠陥予測における複数のハイパーパramータ最適化手法—グリッドサーチ、微分進化、ランダムサーチ、SMAC—を評価し、いずれのチューナーも一貫して優れているとは限らないことがわかった。驚くべきことに、50%のケースでハイパーパramータチューニングはデフォルト設定と同等の性能にとどまり、特にF-measureにおいては、チューニングが性能を向上させるとの仮定に疑問を呈する結果となった。

ABSTRACT

Hyperparameter tuning is the black art of automatically finding a good combination of control parameters for a data miner. While widely applied in Software Engineering, there has not been much discussion on which hyperparameter tuner is best for software analytics. To address this gap in the literature, this paper applied a range of hyperparameter optimizers (grid search, differential evolution, random search, SMAC) to defect prediction. No hyperparameter optimizer was observed to be best and, for one of the two evaluation measures studied here (F-measure), hyperparameter optimization, in 50\% cases, was no better than using default configurations. We conclude that hyperparameter optimization is more nuanced than previously believed. While such optimization can certainly lead to large improvements in the performance of classifiers used in software analytics, it remains to be seen which specific optimizers should be endorsed.

研究の動機と目的

• ソフトウェアアナリティクス、特に欠陥予測を対象として、さまざまなハイパーパramータ最適化手法の有効性を評価すること。
• ソフトウェア工学の文脈において、ハイパーパramータチューニングが分類器の性能を一貫して向上させるかどうかを特定すること。
• 異なる評価指標において、特定の最適化手法が他の手法を常に上回るかどうかを評価すること。
• ハイパーパramータチューニングがソフトウェアアナリティクスにおいて普遍的に有益であるという一般的な仮定に疑問を呈すること。

提案手法

• 欠陥予測タスクに、グリッドサーチ、微分進化、ランダムサーチ、SMACという4つのハイパーパramータ最適化手法を適用した。
• 標準的なソフトウェア欠陥予測データセットを用いて、複数の分類器における性能を評価した。
• F-measureと別の明示されていない指標（AUCなどと想定される）という2つの評価指標を用いて性能を測定した。
• デフォルトのハイパーパramータを使用したモデルと、チューニングされたモデルの性能を比較した。
• 複数のデータセットにわたり繰り返し実験を実施し、結果の一貫性を評価した。
• 結果を分析して、チューニングが一貫して性能を向上させるのか、あるいはデフォルト設定が競争力を持っているのかを特定した。

実験結果

リサーチクエスチョン

• RQ1 複数の欠陥予測データセットおよび評価指標において、どのハイパーパramータ最適化手法が最も優れているか？
• RQ2 ハイパーパramータチューニングは、デフォルト設定と比較して、ソフトウェアアナリティクスにおいて一貫して分類器の性能を向上させるのか？
• RQ3 チューニングがデフォルトのハイパーパramータを上回らない頻度はどの程度で、特にF-measure指標においては？
• RQ4 チューニングが一貫して効果を持たない特定の条件下は存在するのか？

主な発見

• すべてのデータセットおよび評価指標において、ハイパーパramータ最適化手法に一貫した優位性は認められなかった。
• F-measure指標においては、ハイパーパramータチューニングがデフォルト設定と同等の性能にとどまったケースが50%にのぼった。
• チューニングによる性能向上は、データセットや使用する評価指標に強く依存していた。
• 一部のケースでは、デフォルトのハイパーパramータがチューニングされたモデルを上回る性能を示した。
• 結果として、ハイパーパramータチューニングがソフトウェアアナリティクスにおいて普遍的に有益であるという仮定に疑問が呈された。
• 本研究は、ハイパーパramータ最適化が従来の認識よりも複雑であると結論づけ、特定の最適化手法が普遍的に最適であるとは限らないことを示した。