[论文解读] A Population-based Hybrid Approach to Hyperparameter Optimization for Neural Networks

Marcello Serqueira, Pedro Arcos González+1 more|arXiv (Cornell University)|Nov 22, 2020

Machine Learning and Data Classification被引用 7

一句话总结

该论文提出HBRKGA，一种混合超参数优化方法，结合了有偏随机键遗传算法（BRKGA）与随机游走策略，以高效探索神经网络的超参数空间。在八个数据集上的评估显示，HBRKGA在六个数据集中的F₁分数优于网格搜索、随机搜索、贝叶斯优化和CMA-ES，在其中三个数据集中具有统计显著性提升，证明了将随机游走的局部搜索整合进基于种群的方法中的有效性。

ABSTRACT

In recent years, large amounts of data have been generated, and computer power has kept growing. This scenario has led to a resurgence in the interest in artificial neural networks. One of the main challenges in training effective neural network models is finding the right combination of hyperparameters to be used. Indeed, the choice of an adequate approach to search the hyperparameter space directly influences the accuracy of the resulting neural network model. Common approaches for hyperparameter optimization are Grid Search, Random Search, and Bayesian Optimization. There are also population-based methods such as CMA-ES. In this paper, we present HBRKGA, a new population-based approach for hyperparameter optimization. HBRKGA is a hybrid approach that combines the Biased Random Key Genetic Algorithm with a Random Walk technique to search the hyperparameter space efficiently. Several computational experiments on eight different datasets were performed to assess the effectiveness of the proposed approach. Results showed that HBRKGA could find hyperparameter configurations that outperformed (in terms of predictive quality) the baseline methods in six out of eight datasets while showing a reasonable execution time.

研究动机与目标

• 为解决深度神经网络中大规模、高维超参数空间的高效搜索挑战。
• 通过引入智能搜索策略，改进传统超参数优化方法（如网格搜索和随机搜索）。
• 评估将进化算法与局部搜索启发式方法结合在超参数调优中的有效性。
• 研究随机游走组件对混合算法性能的影响。
• 为神经网络超参数调优提供一种具有竞争力且高效的替代贝叶斯优化和CMA-ES的方法。

提出的方法

• HBRKGA将有偏随机键遗传算法（BRKGA）与随机游走技术结合，以增强超参数空间内的局部搜索能力。
• 种群中的每个个体通过固定步数的随机游走进行扰动，以探索邻近配置。
• 算法使用基于验证集上模型性能（F₁分数）的适应度函数，指导选择与进化。
• 在每代中应用基于种群的选择、交叉和变异操作，以进化出更优的超参数配置。
• 在每生成一个新解后应用随机游走，以增加多样性并提升局部收敛性。
• 通过每轮固定数量的模型评估进行评估，确保与基线方法的公平比较。

实验结果

研究问题

• RQ1 与标准BRKGA相比，将随机游走集成到BRKGA中是否能提升超参数优化性能？
• RQ2 HBRKGA在预测性能和计算效率方面与网格搜索、随机搜索、贝叶斯优化和CMA-ES相比如何？
• RQ3 随机游走组件对HBRKGA整体性能的贡献是什么？
• RQ4 HBRKGA是否能在多种分类数据集上实现F₁分数的统计显著提升？
• RQ5 HBRKGA在不同神经网络架构和数据分布下是否具备可扩展性和鲁棒性？

主要发现

• 在八个数据集中的六个，HBRKGA的平均F₁分数高于所有基线方法。
• 在三个数据集中，HBRKGA的F₁分数相比其他方法具有统计显著性提升，经Wilcoxon符号秩检验确认。
• 消融研究显示，采用随机游走的HBRKGA（HBRKGA(3)）的平均F₁为0.980 ± 0.00285，显著优于不使用随机游走的HBRKGA（0.975 ± 0.00195）。
• 尽管每代解的数量增加，随机游走组件仍促进了更好的探索与更高性能。
• HBRKGA保持了合理的执行时间，在计算成本较高的贝叶斯优化中表现更优，且在性能上与或超过CMA-ES。
• 该方法在多种数据集（包括MNIST、Fashion-MNIST、COSMOS和合成矩形数据）上表现出鲁棒性。