[论文解读] Grid Search, Random Search, Genetic Algorithm: A Big Comparison for NAS

Petro Liashchynskyi, Pavlo B. Liashchynskyi|arXiv (Cornell University)|Dec 12, 2019

Machine Learning and Data Classification参考文献 13被引用 559

一句话总结

本文基准比较网格搜索、随机搜索和遗传算法在 CIFAR-10 上的神经架构搜索，报告不同搜索策略下的训练时间和模型精度。

ABSTRACT

In this paper, we compare the three most popular algorithms for hyperparameter optimization (Grid Search, Random Search, and Genetic Algorithm) and attempt to use them for neural architecture search (NAS). We use these algorithms for building a convolutional neural network (search architecture). Experimental results on CIFAR-10 dataset further demonstrate the performance difference between compared algorithms. The comparison results are based on the execution time of the above algorithms and accuracy of the proposed models.

研究动机与目标

• 倡导将经典超参数优化算法用于 NAS，作为 Auto-ML 框架的替代方案。
• 为卷积神经网络（CNN）架构定义受限的搜索空间，以评估不同的优化策略。
• 在 NAS 中评估并比较网格搜索、随机搜索和遗传算法的运行时间和准确性。
• 基于搜索空间规模和时间约束，提供关于应选择哪种算法的实用指南。

提出的方法

• 定义一个基础CNN架构，并通过添加卷积单元和全连接单元来扩展成可搜索的空间。
• 在定义的空间内应用三种优化策略（网格搜索、随机搜索、遗传算法）来发现架构。
• 使用标准预处理、He 初始化、Adamax 优化器、L2 正则化、 dropout 和 BatchNormalization 在 CIFAR-10 上训练候选架构。
• 在固定轮次下，使用 Nvidia Tesla K80 GPU 测量每个候选架构的性能（准确率）和训练时间。
• 对于网格/搜索，枚举卷积单元和密集单元的组合；对于随机搜索，在定义的边界内采样配置；对于遗传算法，进化一个编码卷积/密集计数的架构种群作为基因组。

实验结果

研究问题

• RQ1 在测试的搜索空间内，网格搜索、随机搜索和遗传算法中哪一种能得到更高的 NAS 精度？
• RQ2 在达到具备竞争力的架构方面，算法在总训练时间上的比较如何？
• RQ3 在 NAS 中，各方法在探索广度与计算成本之间的权衡是什么？

主要发现

• 网格搜索在一个包含 2 个卷积单元和 2 个密集单元的配置下，达到约 83% 的最佳准确率。
• 随机搜索在总时间比网格搜索更短的情况下可达到更高的准确率（最佳约 86%），但可能需要更多的运行以稳定结果。
• 遗传算法也能达到 ~86% 的准确率，运行时间较长（约 4.13 小时），并且提供可与随机搜索相当的最佳模型。
• 总体而言，网格搜索在大规模搜索空间中较慢；随机搜索和遗传算法提供更快或可扩展的选项，遗传算法在非常大空间中可能更有利。
• 研究总结认为，算法的选择取决于搜索空间规模和时间约束，当空间很大且穷尽搜索不可行时，遗传算法通常更有利。