[论文解读] Accuracy Prediction with Non-neural Model for Neural Architecture Search

Renqian Luo, Xu Tan+4 more|arXiv (Cornell University)|Jul 9, 2020

Advanced Neural Network Applications参考文献 52被引用 5

一句话总结

该论文提出使用梯度提升决策树（GBDT）作为神经架构搜索（NAS）中的非神经网络精度预测器，证明GBDT在精度预测方面可达到与神经网络基预测器相当或更优的表现。通过利用GBDT的特征重要性与SHAP值，该方法对搜索空间进行剪枝，从而提升样本效率，在NASBench-101上实现22倍的样本效率增益，并在ImageNet上取得23.4%的top-1错误率。

ABSTRACT

Neural architecture search (NAS) with an accuracy predictor that predicts the accuracy of candidate architectures has drawn increasing attention due to its simplicity and effectiveness. Previous works usually employ neural network-based predictors which require more delicate design and are easy to overfit. Considering that most architectures are represented as sequences of discrete symbols which are more like tabular data and preferred by non-neural predictors, in this paper, we study an alternative approach which uses non-neural model for accuracy prediction. Specifically, as decision tree based models can better handle tabular data, we leverage gradient boosting decision tree (GBDT) as the predictor for NAS. We demonstrate that the GBDT predictor can achieve comparable (if not better) prediction accuracy than neural network based predictors. Moreover, considering that a compact search space can ease the search process, we propose to prune the search space gradually according to important features derived from GBDT. In this way, NAS can be performed by first pruning the search space and then searching a neural architecture, which is more efficient and effective. Experiments on NASBench-101 and ImageNet demonstrate the effectiveness of using GBDT as predictor for NAS: (1) On NASBench-101, it is 22x, 8x, and 6x more sample efficient than random search, regularized evolution, and Monte Carlo Tree Search (MCTS) in finding the global optimum; (2) It achieves 24.2% top-1 error rate on ImageNet, and further achieves 23.4% top-1 error rate on ImageNet when enhanced with search space pruning. Code is provided at https://github.com/renqianluo/GBDT-NAS.

研究动机与目标

• 探索非神经网络模型（特别是GBDT）作为NAS中的精度预测器，以克服神经网络预测器存在的过拟合与设计复杂性问题。
• 通过利用GBDT识别并剪除搜索空间中表现较差的操作，提升NAS的样本效率。
• 开发一种两阶段NAS框架——首先利用GBDT剪枝搜索空间，然后在剪枝后的空间中使用同一GBDT作为预测器进行搜索。
• 在NASBench-101与ImageNet等基准数据集上验证基于GBDT的预测与剪枝的有效性。

提出的方法

• 将神经网络架构重新表述为独热编码的表格型特征，以适配基于GBDT的学习。
• 在少量架构-精度对上训练GBDT模型，以预测未见架构的精度。
• 利用SHAP值解释特征重要性，识别有害操作（如第1层的'MB3 7x7'）并用于剪枝。
• 通过逐步移除SHAP值为负且贡献度低的特征，实现搜索空间的渐进式剪枝，降低搜索复杂度。
• 在剪枝后的搜索空间中使用同一GBDT预测器执行NAS，以选择表现最优的架构。
• 通过ImageNet上的验证以及与NASBench-101上基线NAS方法的对比，评估性能。

实验结果

研究问题

• RQ1 非神经网络模型（如GBDT）是否能在NAS的精度预测中超越基于神经网络的预测器？
• RQ2 利用GBDT指导搜索空间剪枝是否能提升NAS的样本效率？
• RQ3 基于SHAP的特征解释在识别并移除搜索空间中次优操作方面是否有效？
• RQ4 GBDT-NAS-S3是否能在ImageNet上实现优于标准NAS基线的精度？

主要发现

• 在NASBench-101上，GBDT-NAS相较于随机搜索、正则化进化和蒙特卡洛树搜索，分别实现了22倍、8倍和6倍更高的样本效率。
• GBDT-NAS在ImageNet上实现了24.2%的top-1错误率，证明了非神经网络预测器的强大性能。
• GBDT-NAS-S3（通过SHAP值实现搜索空间剪枝）在ImageNet上实现了23.4%的top-1错误率，优于未剪枝的变体。
• 基于SHAP的剪枝优于基于特征重要性的剪枝，且随着迭代次数增加，准确率差距持续扩大，表明子空间质量逐步提升。
• GBDT-NAS-S3发现的架构避开了通过SHAP分析识别出的有害操作'MB3 7x7'（位于第1层），从而实现了更好的泛化能力。
• 从GBDT剪枝后的搜索空间中采样的架构，其平均验证精度高于基线，且该差距随迭代次数增加而扩大。