[论文解读] Efficient Hyperparameter Optimization in Deep Learning Using a Variable Length Genetic Algorithm

Xueli Xiao, Ming Yan+3 more|arXiv (Cornell University)|Jun 23, 2020

Machine Learning and Data Classification参考文献 25被引用 80

一句话总结

本文提出一种用于 CNN 超参数优化的可变长度遗传算法（GA），该算法在不同阶段增加模型深度，采用交叉与权重迁移，并在时间/资源约束下相对于固定长度 GA、随机搜索和大规模进化显示出更高的性能。

ABSTRACT

Convolutional Neural Networks (CNN) have gained great success in many artificial intelligence tasks. However, finding a good set of hyperparameters for a CNN remains a challenging task. It usually takes an expert with deep knowledge, and trials and errors. Genetic algorithms have been used in hyperparameter optimizations. However, traditional genetic algorithms with fixed-length chromosomes may not be a good fit for optimizing deep learning hyperparameters, because deep learning models have variable number of hyperparameters depending on the model depth. As the depth increases, the number of hyperparameters grows exponentially, and searching becomes exponentially harder. It is important to have an efficient algorithm that can find a good model in reasonable time. In this article, we propose to use a variable length genetic algorithm (GA) to systematically and automatically tune the hyperparameters of a CNN to improve its performance. Experimental results show that our algorithm can find good CNN hyperparameters efficiently. It is clear from our experiments that if more time is spent on optimizing the hyperparameters, better results could be achieved. Theoretically, if we had unlimited time and CPU power, we could find the optimized hyperparameters and achieve the best results in the future.

研究动机与目标

• 激发 CNN 超参数优化的挑战，以及在模型深度变化时需要高效搜索的需求。
• 提出一种可变长度的 GA，逐步增加 CNN 深度以搜索更大、非固定的超参数空间。
• 证明该方法在实际计算预算内能够找到高性能的 CNN 配置。
• 在相似时间/资源约束下，与基础方法（随机搜索、固定长度 GA、大规模进化）进行比较。

提出的方法

• 使用一个从两层卷积层开始、在各阶段逐步增加层数的可变长度 GA。
• 将超参数编码在一个随阶段扩展的染色体中，将最佳阶段解传播到更深的模型。
• 结合交叉和变异以生成新的超参数配置，在扩展深度时从前一最佳模型进行权重迁移。
• 将适应度评估设定为在固定的小数量阶段(五个时期)后的验证准确率，以节省计算，扩展深度时进行权重迁移以初始化更深的模型。
• 在达到停止条件后，继续将各阶段中的最佳模型训练直至收敛。
• 当增加层数不再带来显著提升，即最佳适应度在各阶段下降超过 0.01 时停止搜索。

实验结果

研究问题

• RQ1 在没有预定义最大深度的情况下，可变长度染色体的 GA 是否能够有效优化 CNN 超参数？
• RQ2 交叉加权重迁移是否在有限计算资源下更高效地发现高性能的 CNN 架构？
• RQ3 在相似时间预算下，变量长度 GA 与随机搜索、固定长度 GA 和大规模进化相比的表现如何？
• RQ4 哪些停止条件可以可靠指示更深的架构不再提供有意义的增益？

主要发现

• 可变长度 GA 在约 24.55 小时内发现了 CIFAR-10 上达到 88.92% 测试准确率的模型。
• 该方法在增加深度时早期收益显著，后期阶段提升趋于平缓。
• 在相似时间约束下，所提方法的表现超过随机搜索（58.66%）、经典 GA（80.75%）和大规模进化（51.90%）。
• 整个进化在 25 小时内完成，阶段 13 的最佳模型被选定用于进一步训练。
• 在深度扩展过程中的权重迁移节省了训练时间，并帮助更高效地评估更深的架构。