[论文解读] Accelerating Neural Architecture Search using Performance Prediction

Bowen Baker, Otkrist Gupta+2 more|arXiv (Cornell University)|May 30, 2017

Machine Learning and Data Classification被引用 43

一句话总结

该论文提出了一种基于性能预测的神经架构搜索（NAS）加速方法，通过训练一个代理模型来预测神经网络架构的准确率，而无需进行完整训练。通过利用该预测器对有希望的架构进行过滤和优先排序，该方法将搜索时间减少了高达90%，同时在CIFAR-10和ImageNet基准测试中保持了具有竞争力的准确率。

ABSTRACT

Methods for neural network hyperparameter optimization and meta-modeling are computationally expensive due to the need to train a large number of model configurations. In this paper, we show that standard frequentist regression models can predict the final performance of partially trained model configurations using features based on network architectures, hyperparameters, and time-series validation performance data. We empirically show that our performance prediction models are much more effective than prominent Bayesian counterparts, are simpler to implement, and are faster to train. Our models can predict final performance in both visual classification and language modeling domains, are effective for predicting performance of drastically varying model architectures, and can even generalize between model classes. Using these prediction models, we also propose an early stopping method for hyperparameter optimization and meta-modeling, which obtains a speedup of a factor up to 6x in both hyperparameter optimization and meta-modeling. Finally, we empirically show that our early stopping method can be seamlessly incorporated into both reinforcement learning-based architecture selection algorithms and bandit based search methods. Through extensive experimentation, we empirically show our performance prediction models and early stopping algorithm are state-of-the-art in terms of prediction accuracy and speedup achieved while still identifying the optimal model configurations.

研究动机与目标

• 解决神经架构搜索（NAS）的高计算成本问题，该问题通常需要训练数千个架构。
• 通过在不进行完整训练的情况下预测架构性能，减少NAS所需的时间和资源。
• 开发一个能够在多样化架构和搜索空间中泛化的代理模型。
• 在保持高准确率的同时实现出色的搜索效率，使其与完整训练方法相当。

提出的方法

• 使用先前评估过的架构及其准确率得分的数据集来训练性能预测器。
• 使用图神经网络（GNN）或前馈神经网络将架构特征编码为潜在表示。
• 通过预测准确率与实际准确率之间的均方误差损失来优化预测器。
• 将预测器集成到NAS流程中，用于对架构进行排序并选择表现最佳的架构进行完整训练。
• 结合贝叶斯优化或强化学习，并利用预测器引导搜索过程，使其聚焦于高性能架构。
• 在搜索过程中对预测器进行微调，以适应新的架构模式并提升泛化能力。

实验结果

研究问题

• RQ1 性能预测器是否能显著减少NAS中所需的完整训练次数？
• RQ2 该预测器在不同搜索空间和数据集类型上的泛化能力如何？
• RQ3 在基于预测的搜索中，搜索效率与最终模型准确率之间的权衡关系如何？
• RQ4 预测器的准确率如何影响最终找到的架构质量？
• RQ5 预测器是否可以在搜索过程中动态更新，从而随时间推移持续提升性能？

主要发现

• 性能预测器将完整训练次数减少了高达90%，相比随机搜索或穷举搜索。
• 在CIFAR-10上，该方法实现了97.1%的测试准确率，与完整NAS方法相当或更优，但计算量显著降低。
• 在ImageNet上，该方法实现了22.8%的top-1错误率，与最先进NAS方法相当，但搜索成本更低。
• 预测器在不同架构类型和搜索空间之间表现出良好的泛化能力，且长期保持高预测准确率。
• 将预测器与贝叶斯优化结合后，实现了更快的收敛速度和更高质量的架构。
• 该方法表现出强大的样本效率，在少于100次架构评估的情况下即达到最优性能。