[論文レビュー] To tune or not to tune? An Approach for Recommending Important Hyperparameters

Mohamadjavad Bahmani, Radwa El Shawi+2 more|arXiv (Cornell University)|Aug 30, 2021

Machine Learning and Data Classification参考文献 33被引用数 5

ひとこと要約

本論文は、200のデータセットにおける6つの分類器に対して、関数型ANOVAを用いた統計枠組みを提案し、ハイパーパrameterの重要度を特定することで、実務家がチューニングの価値を判断できるようにする。その結果、勾配ブースティングとAdaboostが最もチューニング可能で、最も優れた性能を示すことが判明した。また、ハイパーパrameterの重要度はアルゴリズムやデータセットによって顕著に異なることが分かった。

ABSTRACT

Novel technologies in automated machine learning ease the complexity of algorithm selection and hyperparameter optimization. Hyperparameters are important for machine learning models as they significantly influence the performance of machine learning models. Many optimization techniques have achieved notable success in hyperparameter tuning and surpassed the performance of human experts. However, depending on such techniques as blackbox algorithms can leave machine learning practitioners without insight into the relative importance of different hyperparameters. In this paper, we consider building the relationship between the performance of the machine learning models and their hyperparameters to discover the trend and gain insights, with empirical results based on six classifiers and 200 datasets. Our results enable users to decide whether it is worth conducting a possibly time-consuming tuning strategy, to focus on the most important hyperparameters, and to choose adequate hyperparameter spaces for tuning. The results of our experiments show that gradient boosting and Adaboost outperform other classifiers across 200 problems. However, they need tuning to boost their performance. Overall, the results obtained from this study provide a quantitative basis to focus efforts toward guided automated hyperparameter optimization and contribute toward the development of better-automated machine learning frameworks.

研究の動機と目的

• 多様なデータセットにおいて、機械学習モデルのパフォーマンスに顕著な影響を与えるハイパーパrameterを特定すること。
• ハイパーパramータの最適化によるパフォーマンス向上の度合いを測定することで、異なる分類器のチューニング可能性を定量化すること。
• 実務家がハイパーパラメータチューニングに時間を費やす価値があるかどうかを、データ駆動型のガイダンスで提供すること。
• 実証的証拠に基づいて、頑健なデフォルトのハイパーパラメータ設定と最良のパフォーマンスを示すアルゴリズムを同定すること。
• アルゴリズム固有のハイパーパラメータの重要度と相互作用を明らかにすることで、より知的なAutoMLフレームワークの開発を支援すること。

提案手法

• 関数型ANOVAを用いて、モデルパフォーマンスの分散を個々のハイパーパラメータとその相互作用の寄与に分解する。
• OpenMLから得た200のデータセットのベンチマークを用い、ランダムフォレスト、SVM、Adaboost、エクストラツリー、決定木、勾配ブースティングの6つの分類器を評価する。
• 各データセットに対して500の構成でベイズ最適化を適用し、パフォーマンス推定の信頼性を確保する。
• チューニング可能性を、基準設定と最良パフォーマンス設定の間のパフォーマンス向上の標準偏差として測定する。
• 全データセットにおける平均AUCパフォーマンスに基づきアルゴリズムをランク付けし、ウィルコクソン符号順位検定を用いて統計的有意性を評価する。
• van RijnとHutter（2017）らの先行研究と一致するように、結果を再利用・検証することで一貫性と信頼性を確保する。

実験結果

リサーチクエスチョン

• RQ1 200のデータセットにわたる6つの分類器について、それぞれのハイパーパラメータの中で最も影響力のあるものは何か？
• RQ2 各アルゴリズムにおいて、ハイパーパラメータチューニングによって得られるパフォーマンス向上はどの程度か？
• RQ3 どの機械学習アルゴリズムが最もチューニング可能で、かつ一貫して他のアルゴリズムを上回るか？
• RQ4 分類器の相対的なパフォーマンスはデータセットごとにどのように変化するか？また、一貫した上位パフォーマンスを示すアルゴリズムは存在するか？
• RQ5 チューニングの必要を最小限に抑えるが、高いパフォーマンスを維持できる頑健なデフォルトのハイパーパラメータ設定を特定できるか？

主な発見

• 勾配ブースティングとAdaboostが最もチューニング可能で、200のデータセットすべてで他のアルゴリズムを顕著に上回るパフォーマンスを示した。
• パフォーマンス向上の標準偏差（チューニング可能性の指標）から、SVM、勾配ブースティング、エクストラツリーが顕著にチューニング可能である一方、決定木とランダムフォレストは最もチューニング可能でないことが判明した。
• 最もチューニング可能でないにもかかわらず、ランダムフォレストと決定木は依然として高いパフォーマンスを達成しており、実務において単純さが有効である可能性を示している。
• 1つのアルゴリズムがすべてのデータセットで優勢であるとは限らない：SVMは16のデータセットで勾配ブースティングを上回った。これは、データの特性に応じたアルゴリズム選択の重要性を示している。
• 勾配ブースティングとAdaboostのパフォーマンス差は統計的に有意でない（p > 0.05）ため、実務においては同等の有効性を持つとされる。
• ハイパーパラメータの重要度はアルゴリズムごとに顕著に異なることが分かった。特に、XGBoost風のパrameter（例：学習率、最大深さ）が、勾配ブースティングとAdaboostにおいて最も影響力が大きかった。