[论文解读] Hyper-parameter estimation method with particle swarm optimization

Yaru Li, Yulai Zhang|arXiv (Cornell University)|Nov 24, 2020

Advanced Multi-Objective Optimization Algorithms参考文献 22被引用 7

一句话总结

该论文提出了一种名为PSO-BO的新超参数优化方法，将粒子群优化（PSO）整合进贝叶斯优化（BO）框架，以高效优化获取函数。通过利用PSO在非凸、多峰获取函数上的全局搜索能力，该方法在回归和分类任务中均实现了更高的泛化精度，优于基于梯度的L-BFGS-B和TNC等方法，在波士顿房价、数字识别以及XGBoost模型等基准数据集上表现更优。

ABSTRACT

Particle swarm optimization (PSO) method cannot be directly used in the problem of hyper-parameter estimation since the mathematical formulation of the mapping from hyper-parameters to loss function or generalization accuracy is unclear. Bayesian optimization (BO) framework is capable of converting the optimization of the hyper-parameters into the optimization of an acquisition function. The acquisition function is non-convex and multi-peak. So the problem can be better solved by the PSO. The proposed method in this paper uses the particle swarm method to optimize the acquisition function in the BO framework to get better hyper-parameters. The performances of proposed method in both of the classification and regression models are evaluated and demonstrated. The results on several benchmark problems are improved.

研究动机与目标

• 为解决机器学习中从超参数到模型性能的映射关系不明确且计算成本高的问题。
• 克服传统方法（如网格搜索和随机搜索）效率低下且缺乏全局优化能力的局限性。
• 改进现有依赖获取函数梯度优化的贝叶斯优化框架，该类方法计算成本高且可能陷入局部最优。
• 通过将PSO整合进BO框架以优化获取函数，开发一种更高效、更有效的超参数调优方法。
• 通过实证验证PSO-BO在多种回归与分类任务中，相较于最先进方法在模型泛化精度方面的优越性。

提出的方法

• 该方法将粒子群优化（PSO）整合进贝叶斯优化（BO）框架，用于优化获取函数，该函数指导超参数搜索中下一组评估点的选择。
• PSO被应用于非凸且多模态的获取函数，以在无需计算梯度的情况下寻找高质量的超参数配置。
• 算法在超参数空间中初始化一组粒子，每个粒子代表一个候选配置，并通过个人最优（pbi）和全局最优（gb）值，迭代更新其位置和速度。
• 更新规则使用惯性权重（ω）、认知系数（c1）和社会系数（c2）来平衡探索与开发，其中r1和r2为均匀分布的随机变量。
• PSO过程嵌入BO循环中：每次评估后，重新计算获取函数，PSO生成新的候选超参数用于模型训练与验证。
• 该方法采用5折交叉验证，并通过R²（回归）和分类准确率（分类）评估性能，实验中发现ω = 0.8为最优选择。

实验结果

研究问题

• RQ1 鉴于获取函数具有非凸性和多峰性，粒子群优化能否有效优化贝叶斯超参数优化中的获取函数？
• RQ2 PSO-BO在多种机器学习模型中是否在模型泛化精度方面优于L-BFGS-B和TNC等基于梯度的方法？
• RQ3 PSO中惯性权重ω的选择如何影响BO框架中超参数优化的性能？
• RQ4 PSO-BO能否在降低计算成本的同时，优于网格搜索和随机搜索，实现更优的性能？
• RQ5 PSO-BO在高维超参数空间中是否具备可扩展性与有效性，还是随着维度增加性能显著下降？

主要发现

• 在波士顿房价回归数据集上，PSO-BO（ω = 0.8）的平均R²为0.609，优于L-BFGS-B-BO（0.6021）和TNC-BO（0.6045）。
• 在数字识别数据集的随机森林分类器上，PSO-BO实现了最高准确率0.9471，超过L-BFGS-B-BO（0.9449）和TNC-BO（0.9443）。
• 在XGBoost分类任务中，PSO-BO的平均准确率为0.9414，高于L-BFGS-B-BO（0.93945）和TNC-BO（0.9405），最大值达0.947。
• 实验结果表明，PSO-BO（ω = 0.8）在所有基准任务中均持续优于其他方法，显示出良好的鲁棒性与有效性。
• PSO-BO框架在优化获取函数方面表现优异，尤其在避免基于梯度方法常见的局部极小值方面具有优势。
• 尽管性能表现强劲，该算法在高维空间中收敛速度较慢，表明未来仍需提升效率。