[論文レビュー] Importance of Tuning Hyperparameters of Machine Learning Algorithms

Hilde Weerts, Andreas Mueller+1 more|arXiv (Cornell University)|Jul 15, 2020

Machine Learning and Data Classification参考文献 13被引用数 113

ひとこと要約

この論文は、ハイパーパラメータチューニングの重要性を評価するノンインフェリオリティ（非劣性）フレームワークを導入し、単純なデフォルトパラメータ法を提案し、RFとSVMの59個のOpenMLデータセットで多くのデフォルトがチューニングと非劣性であることを示す。

ABSTRACT

The performance of many machine learning algorithms depends on their hyperparameter settings. The goal of this study is to determine whether it is important to tune a hyperparameter or whether it can be safely set to a default value. We present a methodology to determine the importance of tuning a hyperparameter based on a non-inferiority test and tuning risk: the performance loss that is incurred when a hyperparameter is not tuned, but set to a default value. Because our methods require the notion of a default parameter, we present a simple procedure that can be used to determine reasonable default parameters. We apply our methods in a benchmark study using 59 datasets from OpenML. Our results show that leaving particular hyperparameters at their default value is non-inferior to tuning these hyperparameters. In some cases, leaving the hyperparameter at its default value even outperforms tuning it using a search procedure with a limited number of iterations.

研究の動機と目的

• 特定のハイパーパラメータをチューニングする必要があるか、合理的なデフォルトに設定できるかを評価する。
• デフォルトパラメータをデータセットを1つ除外して決定する簡易手法を導入する。
• チューニングリスクを定量化し、固定デフォルトと完全チューニング構成の非劣性を検証する。
• 複数データセットにわたり、デフォルト値をscikit-learnのデフォルト値および前作と比較してベンチマークする。

提案手法

• 各データセットにデフォルトハイパーパラメータを設定した形式を定義する。
• 上位の性能設定からデフォルト値を選択するためのデータセットを1つ除外する手法を構築する。
• 固定デフォルトとチューニング設定のリスク差としてチューニングリスクを計算する。
• 相対的なチューニングリスクを用いて性能への実用的影響を評価する。
• データセット間で固定条件と非固定条件を比較するためにノンインフェリオリティ検定（非パラメトリックTOST）を適用する。
• RFとSVMの59 OpenMLデータセットのベンチマーク内で、ランダムサーチを用いたネスト型交差検証で評価する。

実験結果

リサーチクエスチョン

• RQ1 どのハイパーパラメータをチューニングすることが重要で、デフォルト値に安全に固定できるか？
• RQ2 提案手法で決定されたデフォルトハイパーパラメータは、すべてのハイパーパラメータをチューニングする場合と比較して非劣性能を示すか？
• RQ3 異なる性能指標の下で、データセットとハイパーパラメータ間でチューニングリスクはどのように変化するか？

主な発見

• 特定のハイパーパラメータを計算されたデフォルト値のままにしておくことは、多くのデータセットでそれらをチューニングするのと非劣である。
• 場合によっては、デフォルトを固定する方が、限定的なランダムサーチでのチューニングよりも優れている。
• デフォルト値はscikit-learnのデフォルト値および prior defaults とは異なり、メタフィーチャ依存のデフォルトが一部のパラメータに有用である。
• チューニングリスクは、いくつかのハイパーパラメータについてしばしば0に近いか負であり、100回のランダムサーチだけでは全チューニングの利益は限定的であることを示唆している。