[论文解读] Bayesian Optimization for Machine Learning : A Practical Guidebook

Ian Dewancker, Michael McCourt+1 more|arXiv (Cornell University)|Dec 14, 2016

Machine Learning and Algorithms参考文献 11被引用 67

一句话总结

本指南通过使用 scikit-learn 和 Apache Spark 的真实世界示例，展示了贝叶斯优化如何在机器学习工作流中加速超参数调优。通过在超参数空间中进行序列化、概率化的搜索，高效优化逻辑回归和矩阵分解等复杂模型，该方法显著提升了性能——RMSE 最低降低 40.7%，优于随机搜索和默认配置。

ABSTRACT

The engineering of machine learning systems is still a nascent field; relying on a seemingly daunting collection of quickly evolving tools and best practices. It is our hope that this guidebook will serve as a useful resource for machine learning practitioners looking to take advantage of Bayesian optimization techniques. We outline four example machine learning problems that can be solved using open source machine learning libraries, and highlight the benefits of using Bayesian optimization in the context of these common machine learning applications.

研究动机与目标

• 为机器学习从业者提供一份实用指南，介绍如何在真实世界的超参数调优问题中应用贝叶斯优化。
• 展示贝叶斯优化在提升多样化机器学习工作负载中模型泛化能力和性能方面的有效性。
• 展示使用 scikit-learn 和 Apache Spark 在常见机器学习任务中实现贝叶斯优化的开源实现。
• 从预测性能和效率两个方面，将贝叶斯优化与随机搜索及默认配置进行比较。

提出的方法

• 在逻辑回归流水线中应用贝叶斯优化来调优超参数，使用交叉验证作为目标度量指标。
• 目标函数 f(λ) 定义为在多个数据划分上进行 5 折交叉验证的平均准确率。
• 可调参数包括特征表示（n-gram 范围、文档频率过滤器）以及逻辑回归正则化（log_min_df、C、loss、penalty）。
• 对于协同过滤任务，使用 Apache Spark 中的交替最小二乘法（ALS）作为目标函数，以验证集上的 RMSE 作为优化目标。
• 该方法使用概率代理模型（高斯过程）指导序列化超参数选择，从而最小化昂贵的评估次数。
• 使用 SigOpt 的贝叶斯优化引擎，在并行化、分布式环境中搜索连续、整数和分类超参数。

实验结果

研究问题

• RQ1 与随机搜索或默认超参数相比，贝叶斯优化是否能在文本分类任务中显著提升模型性能？
• RQ2 贝叶斯优化在逻辑回归流水线中调优复杂、高维超参数空间方面的有效性如何？
• RQ3 在大规模推荐系统中，使用 ALS 的贝叶斯优化能在多大程度上降低 RMSE？
• RQ4 在收敛速度和最终模型性能方面，贝叶斯优化与随机搜索相比表现如何？

主要发现

• 在基于 ALS 的推荐系统中，贝叶斯优化将保留集的 RMSE 降低至 0.7864，相比默认的 MLlib ALS 配置（1.3263）实现了 40.7% 的改进。
• 调优后的模型 RMSE 低于随机搜索（0.7901），证明其在收敛性和优化效率方面表现更优。
• 贝叶斯优化通过同时优化正则化（λ）、秩（k）和迭代次数（T），有效平衡了模型复杂度与泛化能力。
• 该方法在比随机搜索更少的评估次数下实现了高性能，因此适用于计算成本较高的机器学习流水线。
• 本指南表明，贝叶斯优化可有效应用于小规模（scikit-learn）和大规模（Spark）机器学习系统。