[论文解读] Auto-Keras: Efficient Neural Architecture Search with Network Morphism

Haifeng Jin, Qingquan Song+1 more|arXiv (Cornell University)|Jun 27, 2018

Machine Learning and Data Classification参考文献 30被引用 65

一句话总结

该论文提出 Auto-Keras，一种高效的神经架构搜索框架，通过利用网络形态变换（network morphism）与贝叶斯优化，降低计算成本。通过引入神经网络核函数与树状结构的采集函数优化方法，该方法实现了在架构间的快速、自适应搜索，在基准数据集上达到最先进性能，同时支持 CPU/GPU 并行执行，并具备动态内存自适应能力。

ABSTRACT

Neural architecture search (NAS) has been proposed to automatically tune deep neural networks, but existing search algorithms, e.g., NASNet, PNAS, usually suffer from expensive computational cost. Network morphism, which keeps the functionality of a neural network while changing its neural architecture, could be helpful for NAS by enabling more efficient training during the search. In this paper, we propose a novel framework enabling Bayesian optimization to guide the network morphism for efficient neural architecture search. The framework develops a neural network kernel and a tree-structured acquisition function optimization algorithm to efficiently explores the search space. Intensive experiments on real-world benchmark datasets have been done to demonstrate the superior performance of the developed framework over the state-of-the-art methods. Moreover, we build an open-source AutoML system based on our method, namely Auto-Keras. The system runs in parallel on CPU and GPU, with an adaptive search strategy for different GPU memory limits.

研究动机与目标

• 为解决现有神经架构搜索（NAS）方法（如 NASNet 和 PNAS）计算成本过高的问题。
• 通过网络形态变换，在保持功能性的前提下修改架构，实现在大规模神经架构空间中的高效搜索。
• 开发一种结合神经网络核函数与树状结构采集函数的贝叶斯优化框架，以实现对搜索空间的有效探索。
• 构建一个可扩展的、开源的 AutoML 系统（Auto-Keras），支持在 CPU 和 GPU 上运行，并具备自适应内存使用能力。

提出的方法

• 引入神经网络核函数，以建模形态变换后的架构与其性能之间的关系。
• 采用树状结构的采集函数优化算法，高效地导航搜索空间。
• 应用网络形态变换技术，对现有架构（如增加或删除层）进行转换，同时保持其功能完整性。
• 利用贝叶斯优化根据性能预测指导形态变换步骤，减少对完整微调的依赖。
• 设计一种自适应搜索策略，根据可用 GPU 内存动态调整，实现在不同硬件上的高效执行。
• 实现 CPU 与 GPU 的并行执行流水线，加速对多种架构的搜索过程。

实验结果

研究问题

• RQ1 网络形态变换能否与贝叶斯优化有效结合，以降低神经架构搜索的计算成本？
• RQ2 如何设计神经网络核函数，以高效建模形态变换后的架构并引导搜索？
• RQ3 树状结构的采集函数是否能在复杂架构空间中优于标准采集函数？
• RQ4 与现有 NAS 方法相比，所提出的框架在降低搜索成本的同时，能否实现最先进精度？
• RQ5 Auto-Keras 系统在不同硬件配置（包括不同 GPU 内存限制）下，其可扩展性如何？

主要发现

• 所提出的框架在真实世界基准数据集上实现了最先进性能，其精度优于现有 NAS 方法。
• 使用网络形态变换显著降低了训练成本，实现了比传统 NAS 方法更高效的架构搜索。
• 树状结构的采集函数优化方法在探索架构空间方面优于标准方法，具有更优的探索效率。
• Auto-Keras 系统能够在 CPU 和 GPU 上并行运行，并在搜索过程中自适应不同内存约束。
• 该框架展现出强大的泛化能力与效率，使自动化神经架构搜索在真实应用场景中具备可行性。