[论文解读] Convolution Neural Network Hyperparameter Optimization Using Simplified Swarm Optimization

Wei‐Chang Yeh, Yiping Lin+2 more|arXiv (Cornell University)|Mar 6, 2021

Advanced Neural Network Applications参考文献 47被引用 11

一句话总结

本文提出一种简化的群优化（SSO）算法，用于对轻量级LeNet卷积神经网络进行超参数调优，在MNIST、Fashion MNIST和CIFAR-10数据集上实现了比原始LeNet和PSO优化的LeNet更高的准确率。该方法通过基于种群的元启发式算法高效探索超参数空间，展现出向更深模型（如AlexNet）扩展的强大潜力。

ABSTRACT

Convolutional neural networks (CNNs) are widely used in image recognition. Numerous CNN models, such as LeNet, AlexNet, VGG, ResNet, and GoogLeNet, have been proposed by increasing the number of layers, to improve the performance of CNNs. However, performance deteriorates beyond a certain number of layers. Hence, hyperparameter optimisation is a more efficient way to improve CNNs. To validate this concept, a new algorithm based on simplified swarm optimisation is proposed to optimise the hyperparameters of the simplest CNN model, which is LeNet. The results of experiments conducted on the MNIST, Fashion MNIST, and Cifar10 datasets showed that the accuracy of the proposed algorithm is higher than the original LeNet model and PSO-LeNet and that it has a high potential to be extended to more complicated models, such as AlexNet.

研究动机与目标

• 通过聚焦于超参数优化，解决在卷积神经网络中增加网络深度时性能提升逐渐减弱的问题。
• 通过自动化超参数调优，提升LeNet架构的泛化能力和准确率。
• 评估一种新型简化群优化（SSO）算法在优化卷积神经网络超参数方面的有效性。
• 展示所提出方法在更复杂模型（如AlexNet）上的可扩展性。

提出的方法

• 作者实现了一种简化的群优化（SSO）算法，用于在基于LeNet的卷积神经网络中搜索最优超参数。
• SSO被用于调优关键超参数，包括初始学习率、卷积核大小、卷积核数量以及全连接层的维度。
• 优化过程基于基准数据集上的验证准确率来评估候选解。
• 该算法使用一组候选解，根据个体最优和全局最优性能迭代更新其位置。
• 该方法在三个数据集上进行了测试：MNIST、Fashion MNIST和CIFAR-10，并采用交叉验证以确保结果的稳健性。
• 将SSO优化的LeNet模型与原始LeNet和PSO优化版本（PSO-LeNet）进行了对比。

实验结果

研究问题

• RQ1 简化的群优化是否能通过超参数调优有效提升轻量级卷积神经网络（如LeNet）的准确率？
• RQ2 SSO优化的LeNet模型在多个基准数据集上与原始LeNet和PSO-LeNet相比性能如何？
• RQ3 基于SSO的超参数优化方法在更深层卷积神经网络架构（如AlexNet）上的可扩展性潜力如何？
• RQ4 在卷积神经网络超参数搜索的背景下，SSO算法是否相比标准PSO实现了更快的收敛速度或更好的泛化能力？

主要发现

• SSO优化的LeNet在所有三个数据集（MNIST、Fashion MNIST和CIFAR-10）上的测试准确率均高于原始LeNet。
• 所提出方法优于PSO-LeNet基线模型，表明在该场景下SSO比标准PSO在超参数优化方面更具有效性。
• SSO优化模型在多种图像分类任务中均表现出一致的性能提升，表明其对数据集差异具有鲁棒性。
• 结果表明，基于SSO的超参数优化框架在扩展至更复杂的卷积神经网络架构（如AlexNet）方面具有强大潜力。