[论文解读] Neural Predictor for Neural Architecture Search

Wei Wen, Hanxiao Liu+4 more|arXiv (Cornell University)|Dec 2, 2019

Machine Learning in Materials Science参考文献 27被引用 19

一句话总结

该论文提出了一种简单但高度样本高效的神经架构搜索（NAS）神经预测器，通过在N个随机采样的架构上训练回归模型来预测验证准确率。在NASBench-101上，其样本效率比正则化进化算法高出22.83倍，并且在ImageNet上达到与ProxylessNAS相当的性能，同时仅使用随机搜索和监督学习，计算复杂度极低。

ABSTRACT

Neural Architecture Search methods are effective but often use complex algorithms to come up with the best architecture. We propose an approach with three basic steps that is conceptually much simpler. First we train N random architectures to generate N (architecture, validation accuracy) pairs and use them to train a regression model that predicts accuracy based on the architecture. Next, we use this regression model to predict the validation accuracies of a large number of random architectures. Finally, we train the top-K predicted architectures and deploy the model with the best validation result. While this approach seems simple, it is more than 20 times as sample efficient as Regularized Evolution on the NASBench-101 benchmark and can compete on ImageNet with more complex approaches based on weight sharing, such as ProxylessNAS.

研究动机与目标

• 开发一种比依赖强化学习或权重共享的复杂NAS方法更简单、更样本高效的替代方案。
• 在保持基准数据集高准确率的同时，降低架构搜索的计算负担。
• 通过轻量级基于回归的预测器，使计算资源有限的实践者也能有效开展NAS。
• 展示预测器在未见架构和多样化搜索空间（包括移动端友好模型）中的泛化能力。

提出的方法

• 训练N个随机架构，收集（架构，验证准确率）对作为监督学习的训练数据集。
• 训练一个回归模型（使用具有双向GCN的图神经网络）从架构表示中预测验证准确率。
• 使用训练好的预测器评估并排序大量随机架构，选择表现最好的K个进行最终验证。
• 使用标准训练流程训练并验证前K个预测出的架构，以选择性能最佳的模型。
• 在移动端搜索空间中应用软Pareto最优准则，以平衡准确率与推理延迟。
• 使用独热编码的架构表示和图卷积网络，将架构结构编码为可学习的特征。

实验结果

研究问题

• RQ1 在小规模随机采样架构上训练的简单回归模型，是否能在样本效率上超越复杂的NAS方法？
• RQ2 该神经预测器在分布外架构（尤其是准确率高于训练中见过的架构）上的泛化能力如何？
• RQ3 该方法是否能在不使用权重共享的简化方法下，实现与ProxylessNAS在ImageNet上相当的性能？
• RQ4 该方法在针对移动端推理延迟约束（如75–85 ms）时的有效性如何？与需要针对每个目标重新训练的方法相比表现如何？
• RQ5 在固定计算预算下，N（训练集大小）与K（最终验证集大小）之间的权衡关系是什么？

主要发现

• 在NASBench-101基准上，该神经预测器的样本效率比正则化进化算法高出22.83倍，显著减少了所需训练次数。
• 在ProxylessNAS搜索空间中，该神经预测器生成的模型准确率与ProxylessNAS相当，且远超随机搜索。
• 预测器泛化能力出色：尽管在训练中从未见过此类模型，仍成功预测出5个准确率超过76%的模型。
• 预测准确率与真实准确率之间的肯德尔等级相关系数达到0.956，R²得分达到0.929，表明预测性能极强。
• 在针对移动端推理时间（75–85 ms）的目标下，该方法识别出137个有前景的模型，最终验证显示其在未见数据上的性能稳定优于随机搜索。
• 该方法高度可并行化，在完全并行化条件下，其完成时间仅为单次ProxylessNAS搜索的一半，尽管总计算量更高，但在实际应用中更为高效。