[论文解读] Learning to Tune XGBoost with XGBoost

Johanna Sommer, Dimitrios Sarigiannis+1 more|arXiv (Cornell University)|Sep 16, 2019

Machine Learning and Data Classification参考文献 14被引用 8

一句话总结

该论文提出 MeSH，一种基于元学习的连续减半法（successive halving）超参数调优变体，通过元回归器从早期评估中预测最终模型性能。在 95 个数据集上进行训练后，MeSH 搭配 XGBoost 元回归器在 5 个测试数据集中的 3 个上优于随机搜索和标准连续减半法，实现了更低的验证损失，且总预算保持不变。

ABSTRACT

In this short paper we investigate whether meta-learning techniques can be used to more effectively tune the hyperparameters of machine learning models using successive halving (SH). We propose a novel variant of the SH algorithm (MeSH), that uses meta-regressors to determine which candidate configurations should be eliminated at each round. We apply MeSH to the problem of tuning the hyperparameters of a gradient-boosted decision tree model. By training and tuning our meta-regressors using existing tuning jobs from 95 datasets, we demonstrate that MeSH can often find a superior solution to both SH and random search.

研究动机与目标

• 通过利用过往调优经验，提升 XGBoost 超参数调优的效率。
• 解决连续减半法（SH）的局限性，即早期性能排名无法预测最终性能。
• 探索是否可以利用在 SH 过程中无需额外成本即可获得的标志性元特征（landmarking meta-features），用于训练元回归器以实现更优的配置选择。
• 评估元学习是否能通过利用早期结果和元特征预测最终验证损失，从而增强连续减半法。
• 证明在相同预算下，MeSH 能够找到比随机搜索和标准连续减半法更优的超参数配置。

提出的方法

• MeSH 通过用元回归器的预测结果替代验证损失，来修改连续减半法，以决定每轮淘汰哪些配置。
• 在每轮中，元回归器基于数据集元特征、超参数设置以及在较小资源下的先前验证损失，预测配置的最终验证损失。
• 元回归器在来自 95 个 OpenML 数据集的 30 万条样本组成的元数据集上离线训练，候选模型包括 KNN、MLP 和 XGBoost。
• 元数据集包含从配置在资源逐步增加（16 至 1024 次提升轮次）过程中的早期评估中提取的标志性元特征。
• 在线阶段使用与 SH 和随机搜索相同的预算：64 个配置，资源范围为 16–1024，η=2，共 7 轮。
• 对于每个测试数据集，从训练中排除 5 个数据集，并使用 3 折交叉验证来调优元回归器的超参数。

实验结果

研究问题

• RQ1 基于早期评估的元学习预测是否能改善连续减半法中的配置选择？
• RQ2 使用基于先前调优任务训练的元回归器，是否能获得比标准连续减半法更优的最终超参数配置？
• RQ3 在多样化数据集上，MeSH 与随机搜索和标准连续减半法在最终验证损失方面有何比较？
• RQ4 在 MeSH 框架中，哪种元回归器架构（KNN、MLP、XGBoost）表现最佳？
• RQ5 在 XGBoost 超参数调优中，早期性能趋势与最终性能的相关性有多大？

主要发现

• 在 5 个测试数据集中的 3 个上，使用 XGBoost 作为元回归器的 MeSH 实现了最低的平均验证损失，优于随机搜索和连续减半法。
• 在数据集 904 上，使用 XGBoost 的 MeSH 将验证损失降低至 0.2986，低于标准连续减半法的 0.3024 和随机搜索的 0.3139。
• 离线阶段表明，随着更多标志性元特征（早期评估）的出现，元回归器的预测准确性得到提升。
• 在数据集 930 上，使用 XGBoost 元回归器的 MeSH 实现了 0.4881 的平均验证损失，略优于连续减半法（0.4907）和随机搜索（0.4903）。
• 在全部 5 个测试数据集上，使用 XGBoost 的 MeSH 均未劣于连续减半法，且在 3 个情况下显著更优。
• XGBoost 元回归器在所有测试数据集上均持续优于 KNN 和 MLP，表明其在该元学习任务中的适用性。