[论文解读] Auto-Keras: An Efficient Neural Architecture Search System

Haifeng Jin, Qingquan Song+1 more|arXiv (Cornell University)|Jun 27, 2018

Machine Learning and Data Classification参考文献 35被引用 83

一句话总结

本论文介绍 Auto-Keras，一个开源的 AutoML 系统，使用由 network morphism 指导的贝叶斯优化，并结合 edit-distance 神经网络核及树结构获取优化，以高效搜索神经架构。

ABSTRACT

Neural architecture search (NAS) has been proposed to automatically tune deep neural networks, but existing search algorithms, e.g., NASNet, PNAS, usually suffer from expensive computational cost. Network morphism, which keeps the functionality of a neural network while changing its neural architecture, could be helpful for NAS by enabling more efficient training during the search. In this paper, we propose a novel framework enabling Bayesian optimization to guide the network morphism for efficient neural architecture search. The framework develops a neural network kernel and a tree-structured acquisition function optimization algorithm to efficiently explores the search space. Intensive experiments on real-world benchmark datasets have been done to demonstrate the superior performance of the developed framework over the state-of-the-art methods. Moreover, we build an open-source AutoML system based on our method, namely Auto-Keras. The system runs in parallel on CPU and GPU, with an adaptive search strategy for different GPU memory limits.

研究动机与目标

• 激励并实现对深度神经网络的自动化调参，以降低对人工专业知识的依赖和计算成本。
• 开发一个将 network morphism 与贝叶斯优化相结合、能够高效探索庞大搜索空间的 NAS 框架。
• 创造一个可在 CPU 和 GPU 上运行、具备内存自适应搜索的开源 AutoML 系统（Auto-Keras）。
• 解决 NAS 中的非欧几里得架构空间和树结构搜索挑战。
• 在受限的搜索时间内，在标准基准上展示出色的性能。

提出的方法

• 引入一个 edit-distance 神经网络核，以定义与架构相似性的 GP 兼容度量。
• 定义一种树结构获取优化方法，以高效导航 NAS 搜索空间（A*/ 模拟退火混合）。
• 提出全图级别的 network morphism，在变形操作中维持张量形状的一致性。
• 提供一种内存自适应策略，在搜索过程中将架构拟合到 GPU 内存约束。
• 使用 CPU/GPU 并行性、可扩展的 Graph 模块，以及与 Keras 兼容的 API 实现 Auto-Keras，便于使用。

实验结果

研究问题

• RQ1 贝叶斯优化在 network morphism 引导下在降低 NAS 搜索时间同时找到高性能架构方面有多有效？
• RQ2 基于 edit-distance 的神经网络核能否在 NAS 的高斯过程中捕捉架构相似性？
• RQ3 树结构获取优化是否能在 morphing 搜索空间中可靠地平衡探索与利用？
• RQ4 Auto-Keras 在标准基准（MNIST、CIFAR-10、Fashion-MNIST）在有限的搜索时间下，与现有 NAS/AutoML 方法相比性能如何？
• RQ5 内存自适应策略和 CPU/GPU 并行在实际中的扩展性如何？

主要发现

• Auto-Keras 在受限搜索时间下，在 MNIST、CIFAR-10、Fashion-MNIST 上相对于基线 NAS 方法具有更优性能。
• 一种新颖的 edit-distance 神经网络核使得对非欧几里得 NAS 搜索空间的高斯过程回归成为可能。
• 一种带有 A*/模拟退火混合的树结构获取优化高效地探索 morphing 操作。
• 图级 network morphism 在 morph 过程中保持中间张量形状，使得架构更新具有可扩展性。
• CPU/GPU 并行性和 GPU 内存自适应显著提升在不同硬件条件下的搜索效率和可行性。