[论文解读] Efficient Sample-based Neural Architecture Search with Learnable Predictor

Han Shi, Renjie Pi+4 more|arXiv (Cornell University)|Nov 21, 2019

Advanced Neural Network Applications被引用 5

一句话总结

该论文提出 BONAS，一种基于样本的神经架构搜索框架，结合贝叶斯优化与可学习的图卷积网络预测器，以提升采样效率。通过使用进化算法进行采样，并利用代理模型预测架构性能，BONAS 在 NAS-Bench-101 上相比随机搜索提升了 123.7 倍的效率，相比先前最先进方法提升了 7.5 倍。

ABSTRACT

Neural Architecture Search (NAS) has shown great potentials in finding a better neural network design than human design. Sample-based NAS is the most fundamental method aiming at exploring the search space and evaluating the most promising architecture. However, few works have focused on improving the sampling efficiency for NAS algorithm. For balancing exploitation and exploration, we propose BONAS (Bayesian Optimized Neural Architecture Search), a sample-based NAS framework combined with Bayesian Optimization. The main components of BONAS are Sampler and Learnable Embedding Extractor. Specifically, we apply Evolution Algorithm method as our sampler and apply Graph Convolutional Network predictor as a surrogate model to adaptively discover and incorporate nodes structure to approximate the performance of the architecture. For NAS-oriented tasks, we also design a weighted loss focusing on architectures with high performance. Extensive experiments are conducted to verify the effectiveness of our method over many competing methods, e.g. 123.7x more efficient than Random Search and 7.5x more efficient than previous SOTA LaNAS for finding the best architecture on the largest NAS data set NAS-Bench-101.

研究动机与目标

• 通过减少昂贵的架构评估次数，提升基于样本的神经架构搜索（NAS）中的采样效率。
• 通过贝叶斯优化框架解决 NAS 中的探索-利用权衡问题。
• 开发一种可自适应学习架构表征并以高精度预测性能的代理模型。
• 设计一种加权损失函数，以在预测器训练过程中优先考虑高性能架构。

提出的方法

• BONAS 使用进化算法作为采样器，生成并选择候选架构进行评估。
• 基于图卷积网络（GCN）的预测器作为代理模型，无需完整训练即可估算架构性能。
• 通过强调高性能架构的加权损失函数训练预测器，以提升对有前景候选架构的预测精度。
• 通过贝叶斯优化将采样过程引导至探索新架构与利用高性能架构之间的平衡。
• 通过可微嵌入提取器学习架构表征，以捕捉搜索空间中的结构信息。
• 系统随新评估结果动态更新代理模型，实现实时自适应且高效的搜索。

实验结果

研究问题

• RQ1 如何在不牺牲架构性能的前提下，显著提升基于样本的 NAS 中的采样效率？
• RQ2 基于图卷积网络的可学习代理模型能否在极少训练数据下有效预测神经架构性能？
• RQ3 将贝叶斯优化与可学习预测器结合，能在多大程度上减少所需架构评估的次数？
• RQ4 聚焦于高性能架构的加权损失函数如何提升性能预测器的准确性？
• RQ5 所提出方法在效率与最终架构准确率方面能否超越现有最先进 NAS 方法？

主要发现

• BONAS 在 NAS-Bench-101 数据集上相比随机搜索效率提升 123.7 倍，显著减少了所需评估次数。
• 与先前最先进方法 LaNAS 相比，该方法效率提升 7.5 倍，同时保持或提升了最终架构性能。
• 基于 GCN 的预测器结合加权损失函数在高性能架构上展现出更优泛化能力，显著降低了对关键候选架构的预测误差。
• 贝叶斯优化的集成有效平衡了探索与利用，加速了向最优架构的收敛。
• 可学习的嵌入提取器成功捕捉了神经架构中的结构模式，仅凭架构拓扑即可实现高精度性能预测。