[论文解读] Bayesian Optimization for Selecting Efficient Machine Learning Models

Lidan Wang, Franck Dernoncourt+1 more|arXiv (Cornell University)|Aug 2, 2020

Machine Learning and Data Classification参考文献 29被引用 8

一句话总结

本文提出了一种统一的贝叶斯优化框架，通过将训练集大小作为外部超参数，联合优化机器学习模型的预测准确率与训练效率。通过构建可调节的权衡目标函数，该方法实现了最先进水平的模型效率——相比在完整数据上进行的标准贝叶斯优化，训练时间最多减少55%，同时保持了94–96%的上限准确率。

ABSTRACT

The performance of many machine learning models depends on their hyper-parameter settings. Bayesian Optimization has become a successful tool for hyper-parameter optimization of machine learning algorithms, which aims to identify optimal hyper-parameters during an iterative sequential process. However, most of the Bayesian Optimization algorithms are designed to select models for effectiveness only and ignore the important issue of model training efficiency. Given that both model effectiveness and training time are important for real-world applications, models selected for effectiveness may not meet the strict training time requirements necessary to deploy in a production environment. In this work, we present a unified Bayesian Optimization framework for jointly optimizing models for both prediction effectiveness and training efficiency. We propose an objective that captures the tradeoff between these two metrics and demonstrate how we can jointly optimize them in a principled Bayesian Optimization framework. Experiments on model selection for recommendation tasks indicate models selected this way significantly improves model training efficiency while maintaining strong effectiveness as compared to state-of-the-art Bayesian Optimization algorithms.

研究动机与目标

• 为解决现有贝叶斯优化方法在实际部署场景中因时间约束严格而更侧重模型有效性而非训练效率的问题。
• 开发一个统一框架，联合优化预测准确率与训练时间，实现在不同时间预算下的高效模型选择。
• 将训练集大小等外部超参数纳入优化空间，为平衡速度与性能提供更多自由度。
• 引入可调节的权衡度量，捕捉用户对准确率与训练时间的特定偏好，实现自适应的模型选择。
• 证明联合优化可生成显著更高效的模型，且不牺牲预测有效性。

提出的方法

• 提出一个加权目标函数，结合归一化的预测准确率与归一化的训练时间，由权衡超参数 α 参数化。
• 将超参数搜索空间扩展，包含训练集大小作为可调变量，候选值为完整数据的20%、40%、60%、80%和100%。
• 使用高斯过程作为代理模型，在扩展后的超参数空间上回归联合目标函数，涵盖内在与外部超参数。
• 应用期望改进采集函数，依次选择下一个待评估的超参数配置，以在联合准确率-效率空间中平衡探索与利用。
• 通过迭代更新代理模型并结合新评估结果，逐步优化至由 α 定义的最优权衡配置。
• 通过调整 α 实现对不同时间约束的动态适应，使用户能够调节速度与准确率之间的平衡。

实验结果

研究问题

• RQ1 贝叶斯优化能否被扩展以联合优化模型准确率与训练效率，而非仅关注预测性能？
• RQ2 将训练集大小作为超参数纳入，如何影响模型选择中的效率-准确率权衡？
• RQ3 可调节的权衡度量在多大程度上能提升模型选择效率，同时在不同时间约束下保持高预测准确率？
• RQ4 在时间预算受限条件下，与最先进贝叶斯优化方法相比，所提框架在训练时间与准确率方面表现如何？
• RQ5 该框架能否在真实应用中自适应地选择满足特定用户指定时间与准确率要求的模型？

主要发现

• 在 Insurance 数据集上，该方法仅用55%的训练时间，便实现了94%的上限准确率（即完整数据上贝叶斯优化的准确率）。
• 在 Yelp 数据集上，该方法在仅使用完整数据基线57%的训练时间下，达到了96%的上限准确率。
• 该方法在时间受限场景下，始终优于在完整数据上进行的标准贝叶斯优化以及使用30%数据的快速变体。
• 通过将训练集大小作为超参数引入，该方法获得了额外的自由度，从而加速了对高效模型配置的收敛。
• 通过调节权衡参数 α，该框架成功适应不同用户偏好，实现了可定制的速度-准确率平衡。
• 结果表明，联合优化可生成在具有严格延迟与资源约束的真实系统中更具可部署性的模型。