[论文解读] Evolutionary Neural AutoML for Deep Learning

Jason Liang, Elliot Meyerson+4 more|arXiv (Cornell University)|Feb 18, 2019

Machine Learning and Data Classification参考文献 39被引用 10

一句话总结

本文提出了 LEAF，一种基于分布式进化算法的进化自动机器学习（AutoML）框架，可联合优化深度神经网络（DNN）的架构、超参数和模型规模。LEAF 在医学图像分类和自然语言处理任务中均取得了最先进性能，证明了架构搜索能显著提升准确率，并实现参数量小、性能高的模型，且性能损失极小。

ABSTRACT

Deep neural networks (DNNs) have produced state-of-the-art results in many benchmarks and problem domains. However, the success of DNNs depends on the proper configuration of its architecture and hyperparameters. Such a configuration is difficult and as a result, DNNs are often not used to their full potential. In addition, DNNs in commercial applications often need to satisfy real-world design constraints such as size or number of parameters. To make configuration easier, automatic machine learning (AutoML) systems for deep learning have been developed, focusing mostly on optimization of hyperparameters. This paper takes AutoML a step further. It introduces an evolutionary AutoML framework called LEAF that not only optimizes hyperparameters but also network architectures and the size of the network. LEAF makes use of both state-of-the-art evolutionary algorithms (EAs) and distributed computing frameworks. Experimental results on medical image classification and natural language analysis show that the framework can be used to achieve state-of-the-art performance. In particular, LEAF demonstrates that architecture optimization provides a significant boost over hyperparameter optimization, and that networks can be minimized at the same time with little drop in performance. LEAF therefore forms a foundation for democratizing and improving AI, as well as making AI practical in future applications.

研究动机与目标

• 为解决手动配置深度神经网络（DNN）以实现最佳性能和效率的挑战。
• 实现 DNN 架构、超参数和模型规模的自动化、端到端优化，且无需领域专业知识。
• 开发一个可扩展的分布式系统，支持多目标优化，以满足实际部署约束（如参数数量和推理速度）。
• 通过自动化搜索使非专家也能发现高性能、紧凑的 DNN，从而实现人工智能的普惠化。
• 探索进化算法在发现新颖、高效架构方面的有效性，这些架构优于人工设计的模型。

提出的方法

• LEAF 采用基于 CoDeepNEAT 的多层级进化框架，通过模块化组合和遗传操作演化神经网络架构。
• 它为模块级进化（如卷积块）和蓝图级进化（如整体拓扑结构）分别维护独立种群，实现分层搜索。
• 该框架支持多目标优化，同时最大化准确率并最小化模型复杂度（如参数数量）。
• 进化操作包括添加/移除节点和连接，支持对结构变化的概率进行配置。
• 利用分布式计算在多个工作节点上扩展搜索，支持更长的训练周期和更好的收敛性。
• 系统使用帕累托前沿（Pareto front）维护多样且高质量的解，以平衡准确率与模型规模。

实验结果

研究问题

• RQ1 一个进化 AutoML 系统能否联合优化神经网络架构、超参数和模型规模，以实现卓越性能？
• RQ2 与仅优化超参数相比，架构搜索在最终模型的准确率和效率方面表现如何？
• RQ3 进化搜索在多大程度上能发现适合资源受限环境的紧凑、高性能模型？
• RQ4 通过进化搜索最小化模型复杂度是否能提升泛化能力？如果是，原因是什么？
• RQ5 该框架能否随着计算资源的增加而有效扩展，随时间推移产生更优结果？

主要发现

• LEAF 在医学图像分类和自然语言处理任务中均取得了最先进性能，优于现有 AutoML 系统和人工设计的模型。
• 架构优化带来的性能提升远大于仅优化超参数，凸显了结构搜索的重要性。
• 多目标 LEAF 所生成的模型在准确率和参数数量上均优于单目标方法，且在各代中平均适应度更高。
• 进化过程产生了大量模块复用的模型，这可能解释了其正则化效应和更优的泛化能力。
• LEAF 表明，更长的训练周期与更多计算资源结合可获得更优结果，显示出对资源的强可扩展性。
• 该框架成功将模型规模最小化，且性能损失极小，使其在智能手机等边缘设备上具备实际部署可行性。