[论文解读] Enhancing Machine Learning Model Performance with Hyper Parameter Optimization: A Comparative Study

Caner Erden, Halil İbrahim Demir+1 more|arXiv (Cornell University)|Feb 14, 2023

Machine Learning and Data Classification被引用 6

一句话总结

本研究比较了经典超参数优化（HPO）方法——网格搜索、随机搜索、贝叶斯优化——与元启发式算法——遗传算法（GA）、粒子群优化（PSO）——在提升机器学习模型性能方面的表现。基于Python实现的分类数据集实验表明，PSO在测试准确率（92.62%）、F1得分（0.92）和训练准确率（99.33%）方面均优于其他方法，同时保持了合理的计算时间，证明其在性能与效率之间具有优越的平衡性。

ABSTRACT

One of the most critical issues in machine learning is the selection of appropriate hyper parameters for training models. Machine learning models may be able to reach the best training performance and may increase the ability to generalize using hyper parameter optimization (HPO) techniques. HPO is a popular topic that artificial intelligence studies have focused on recently and has attracted increasing interest. While the traditional methods developed for HPO include exhaustive search, grid search, random search, and Bayesian optimization; meta-heuristic algorithms are also employed as more advanced methods. Meta-heuristic algorithms search for the solution space where the solutions converge to the best combination to solve a specific problem. These algorithms test various scenarios and evaluate the results to select the best-performing combinations. In this study, classical methods, such as grid, random search and Bayesian optimization, and population-based algorithms, such as genetic algorithms and particle swarm optimization, are discussed in terms of the HPO. The use of related search algorithms is explained together with Python programming codes developed on packages such as Scikit-learn, Sklearn Genetic, and Optuna. The performance of the search algorithms is compared on a sample data set, and according to the results, the particle swarm optimization algorithm has outperformed the other algorithms.

研究动机与目标

• 评估并比较经典与元启发式超参数优化（HPO）技术在提升机器学习模型准确率方面的表现。
• 评估不同HPO算法在优化性能与计算效率（CPU时间）之间的权衡。
• 识别在真实世界分类数据集上提升模型泛化能力和预测性能最有效的HPO方法。
• 提供使用Scikit-learn、Optuna和sklearn-genetic等Python库的实用代码，实现可复现的HPO工作流。

提出的方法

• 本研究在固定数据集上应用五种HPO技术：网格搜索、随机搜索、贝叶斯优化、遗传算法（GA）和粒子群优化（PSO）。
• 为关键模型参数定义了超参数搜索空间：n_estimators（50–400）、max_features（4–10）、max_depth（4–10）以及criterion（‘gini’、‘entropy’）。
• 通过在训练集和测试集上使用精确率、召回率和F1得分评估性能，并进行15次独立运行以确保结果稳健。
• PSO算法采用种群大小10、40代，认知/社会参数φ₁ = φ₂ = 0.5。
• GA采用种群大小10、40代、交叉概率0.9和变异概率0.05。
• 所有算法均使用Python实现，集成于Jupyter笔记本中，依赖的库包括Scikit-learn、Optuna、skopt和sklearn-genetic，运行环境为12GB内存和i7处理器的笔记本电脑。

实验结果

研究问题

• RQ1 在给定的分类数据集上，哪种超参数优化方法——经典方法或元启发式方法——能实现最高的测试准确率？
• RQ2 不同HPO算法的计算时间如何比较？哪种方法在速度与性能之间实现了最佳平衡？
• RQ3 与贝叶斯优化、遗传算法及传统搜索方法相比，粒子群优化（PSO）是否实现了更优的泛化能力和F1得分？
• RQ4 相互关联的超参数（如学习率与优化器选择）在HPO中的优化结果中影响程度如何？

主要发现

• 粒子群优化（PSO）实现了92.62%的最高测试准确率，显著优于贝叶斯优化（86.11%）、GA（86.09%）、随机搜索（84.25%）和网格搜索（82.97%）。
• PSO实现了99.33%的完美训练准确率，表明其具备强大的学习能力且极少出现欠拟合现象。
• PSO在‘DOWN’类上获得0.94的F1得分，在‘UP’类上获得0.92的F1得分，展现出更优的类别层面泛化能力。
• PSO的CPU时间为1,286.4秒，优于GA（6,639.02秒）和贝叶斯优化（5,850.78秒），同时快于随机搜索（2,567.56秒）。
• 网格搜索的CPU时间最低（714.89秒），但测试准确率最差，证实速度并不等同于性能。
• 所有算法中，‘DOWN’类的精确率和召回率始终高于‘UP’类，而PSO在所有指标中均达到最高值。