[论文解读] Efficient Neural Architecture Search with Network Morphism

Haifeng Jin, Qingquan Song+1 more|arXiv (Cornell University)|Jun 27, 2018

Advanced Neural Network Applications被引用 63

一句话总结

该论文提出了一种基于贝叶斯优化引导的网络形态变换框架，用于高效神经架构搜索（NAS），通过神经网络核函数与树状结构的采集函数优化，加速形态变换操作的选择。该方法在真实世界数据集上实现了最先进性能，且搜索成本显著降低。

ABSTRACT

While neural architecture search (NAS) has drawn increasing attention for automatically tuning deep neural networks, existing search algorithms usually suffer from expensive computational cost. Network morphism, which keeps the functionality of a neural network while changing its neural architecture, could be helpful for NAS by enabling a more efficient training during the search. However, network morphism based NAS is still computationally expensive due to the inefficient process of selecting the proper morph operation for existing architectures. As we know, Bayesian optimization has been widely used to optimize functions based on a limited number of observations, motivating us to explore the possibility of making use of Bayesian optimization to accelerate the morph operation selection process. In this paper, we propose a novel framework enabling Bayesian optimization to guide the network morphism for efficient neural architecture search by introducing a neural network kernel and a tree-structured acquisition function optimization algorithm. With Bayesian optimization to select the network morphism operations, the exploration of the search space is more efficient. Moreover, we carefully wrapped our method into an open-source software, namely Auto-Keras for people without rich machine learning background to use. Intensive experiments on real-world datasets have been done to demonstrate the superior performance of the developed framework over the state-of-the-art baseline methods.

研究动机与目标

• 解决现有神经架构搜索（NAS）方法计算成本过高的问题。
• 克服基于网络形态变换的NAS中形态变换操作选择效率低下的问题。
• 利用贝叶斯优化引导形态变换操作的选择，提升搜索效率。
• 开发一个开源工具Auto-Keras，使非专家用户也能轻松使用该方法。
• 在真实世界数据集上，与最先进基线方法相比，展现出更优的性能与效率。

提出的方法

• 引入神经网络核函数，用于在贝叶斯优化中建模形态变换操作与性能之间的关系。
• 设计一种树状结构的采集函数优化算法，以高效探索形态变换操作的搜索空间。
• 利用贝叶斯优化，基于已观测到的性能结果，迭代选择最具前景的形态变换操作。
• 通过保持架构变换来维持网络功能，确保预测行为的一致性。
• 将该框架集成到Auto-Keras中，便于非专家用户友好部署。
• 通过有限的性能评估，实现高样本效率的搜索引导。

实验结果

研究问题

• RQ1 贝叶斯优化能否有效加速基于网络形态变换的NAS中形态变换操作的选择？
• RQ2 所提出的神经网络核函数在建模形态变换操作性能方面有何改进？
• RQ3 与标准方法相比，树状结构的采集函数优化在多大程度上提升了搜索效率？
• RQ4 在准确率与计算成本方面，该框架与最先进NAS方法相比表现如何？
• RQ5 该框架能否有效封装为开源工具，以实现广泛可及性？

主要发现

• 所提出的框架在真实世界数据集上实现了最先进性能，且计算成本显著降低。
• 结合神经网络核函数的贝叶斯优化，能够更高效地探索形态变换操作的搜索空间。
• 树状结构的采集函数优化显著提升了形态变换操作选择的样本效率。
• 该方法在基准数据集上，无论是准确率还是搜索效率，均优于现有的NAS基线方法。
• 通过集成到Auto-Keras，非专家用户无需具备深度机器学习专业知识，也能实现高效的NAS。
• 该框架在多种真实世界数据集上展现出强大的泛化能力与可扩展性。