[论文解读] Importance of Tuning Hyperparameters of Machine Learning Algorithms

Hilde Weerts, Andreas Mueller+1 more|arXiv (Cornell University)|Jul 15, 2020

Machine Learning and Data Classification参考文献 13被引用 113

一句话总结

该论文引入一个非劣框架来评估超参数调优的重要性，提出一个简单的默认参数方法，并在 59 个 OpenML 数据集的 RF 和 SVM 上显示许多默认值的性能非劣于调优。

ABSTRACT

The performance of many machine learning algorithms depends on their hyperparameter settings. The goal of this study is to determine whether it is important to tune a hyperparameter or whether it can be safely set to a default value. We present a methodology to determine the importance of tuning a hyperparameter based on a non-inferiority test and tuning risk: the performance loss that is incurred when a hyperparameter is not tuned, but set to a default value. Because our methods require the notion of a default parameter, we present a simple procedure that can be used to determine reasonable default parameters. We apply our methods in a benchmark study using 59 datasets from OpenML. Our results show that leaving particular hyperparameters at their default value is non-inferior to tuning these hyperparameters. In some cases, leaving the hyperparameter at its default value even outperforms tuning it using a search procedure with a limited number of iterations.

研究动机与目标

• 评估是否需要对特定超参数进行调优，还是可以设定为合理的默认值。
• 引入一个简单的留一数据集法的默认参数确定过程。
• 量化调优风险并在固定默认与完全调优配置之间进行非劣性检验。
• 在多个数据集上，将默认值与 scikit-learn 的默认值和先前工作进行基准比较。

提出的方法

• 为每个数据集定义一个带有默认超参数的正式设定。
• 构建一个留一数据集法，从表现最佳的配置中选择默认值。
• 将调优风险计算为固定默认与调优设置之间的风险差异。
• 使用相对调优风险来评估对性能的实际影响。
• 应用非劣性检验（非参数 TOST）以比较固定与非固定条件在各数据集上的差异。
• 通过嵌套交叉验证进行评估，并在 59 个 OpenML 数据集的 RF 和 SVM 的基准中进行随机搜索。

实验结果

研究问题

• RQ1 哪些超参数对调优重要，哪些可以安全地设定为默认值？
• RQ2 通过所提出的方法确定的默认超参数在全部超参数调优的情况下是否能实现非劣性能？
• RQ3 在不同的性能度量下，随着数据集和超参数的变化，调优风险如何变化？

主要发现

• 将某些超参数保持在计算的默认值上，在许多数据集上与调优无显著劣势。
• 在某些情况下，固定默认值甚至在有限的随机搜索中也优于调优。
• 默认值与 scikit-learn 的默认值和先前的默认值不同，且元特征相关的默认值对某些参数具有信息性。
• 对于若干超参数，调优风险通常接近零或为负，表明在给定 100 次随机搜索迭代的条件下，全调优的增益有限。