[论文解读] Hyperparameter Importance for Machine Learning Algorithms

Honghe Jin|arXiv (Cornell University)|Jan 13, 2022

Machine Learning and Data Classification被引用 11

一句话总结

本文提出了一种基于模型风险在超参数取值下方差的数据驱动超参数重要性定义，通过子采样估计以实现在大规模数据集上的高效、可扩展调优。该方法在XGBoost和GBM模型上对真实世界信用卡欺诈和违约数据集进行验证，与完整网格搜索相比，实现了90%以上的计算节省，同时保持了重要性排序的一致性。

ABSTRACT

Hyperparameter plays an essential role in the fitting of supervised machine learning algorithms. However, it is computationally expensive to tune all the tunable hyperparameters simultaneously especially for large data sets. In this paper, we give a definition of hyperparameter importance that can be estimated by subsampling procedures. According to the importance, hyperparameters can then be tuned on the entire data set more efficiently. We show theoretically that the proposed importance on subsets of data is consistent with the one on the population data under weak conditions. Numerical experiments show that the proposed importance is consistent and can save a lot of computational resources.

研究动机与目标

• 通过识别最值得调优的超参数，解决在大规模数据集上进行完整超参数调优的计算不可行性问题。
• 提出一种数据依赖的、通用的超参数重要性定义，以反映模型对参数变化的实际敏感性。
• 通过基于小数据子集估计的重要性排序，实现在大规模数据集上高效顺序超参数调优。
• 确保重要性估计在子样本和完整总体数据之间具有理论一致性。
• 为机器学习流程中替代启发式或经验驱动的超参数选择，提供一种实用且基于证据的替代方案。

提出的方法

• 将超参数重要性定义为在给定数据子集上，不同超参数取值下模型风险（如AUC或损失）的方差。
• 通过子采样估计重要性：从完整数据集中多次随机抽取小样本子集，并为每个超参数计算风险方差。
• 使用风险在不同超参数取值下的经验方差作为重要性的代理指标，方差越高表示对模型性能的影响越大。
• 证明理论一致性：在弱正则性条件下，子样本上的估计重要性会收敛到完整总体数据的真实重要性。
• 在顺序调优框架中应用该方法：优先在完整数据集上对最重要超参数进行调优。
• 通过在子样本上进行网格搜索来估计重要性，然后仅对排名靠前的超参数执行完整调优。

实验结果

研究问题

• RQ1 能否从少量数据子集中一致地估计超参数重要性，并用于指导大规模数据集上的高效调优？
• RQ2 与完整网格搜索相比，所提出的基于子采样的重要性度量在计算效率和模型性能方面表现如何？
• RQ3 在不同超参数取值下风险的方差是否可作为超参数影响的可靠且理论一致的指标？
• RQ4 该方法在多大程度上能减少计算成本，同时在真实世界机器学习应用中保持模型准确性？
• RQ5 该方法能否提供客观、数据驱动的依据，用于决定应调优哪些超参数，从而替代启发式或经验性选择？

主要发现

• 所提出的基于超参数取值下风险方差的超参数重要性度量，在子样本与完整总体数据之间具有理论一致性。
• 在包含150万条样本的信用卡欺诈数据集上，该方法将超参数调优时间减少了90%以上（完整调优耗时697.12分钟，顺序调优仅需5.36分钟），同时AUC几乎保持不变（0.8713 vs. 0.8711）。
• 在大规模信用违约数据集（5000万条样本）上，使用0.5%、1%和2%的子采样比例均得出了相同的超参数重要性排序，证明了其经验一致性。
• 对AUC分布的可视化分析表明，最大深度（Max Depth）和学习率步长（Step Size）具有显著影响（AUC方差大），而最大分箱数（Max Bins）几乎无影响，验证了该方法识别非信息性超参数的能力。
• 通过仅聚焦于前三个超参数（最大深度、学习率步长、最大迭代次数），该方法实现了有效的顺序调优，显著降低了计算负载，且未牺牲模型性能。
• 重要性估计步骤本身耗时24.21分钟，但通过避免在完整数据集上执行完整网格搜索，整体时间节省依然极为可观，证明了该方法在大数据环境下的可扩展性。