[论文解读] Automatic Model Selection for Neural Networks

David Laredo, Yulin Qin+2 more|arXiv (Cornell University)|May 15, 2019

Machine Learning and Data Classification参考文献 37被引用 9

一句话总结

本文提出自动模型选择（AMS），一种使用新型基于列表的基因型编码、定制的交叉/变异算子以及兼顾准确率与模型复杂度的适应度函数的进化算法，实现了神经网络架构与超参数搜索的自动化。AMS在标准硬件上仅用不到5分钟便高效识别出高性能且紧凑的模型，在基准数据集上优于人工设计的基线模型，同时支持分布式执行。

ABSTRACT

Neural networks and deep learning are changing the way that artificial intelligence is being done. Efficiently choosing a suitable network architecture and fine-tune its hyper-parameters for a specific dataset is a time-consuming task given the staggering number of possible alternatives. In this paper, we address the problem of model selection by means of a fully automated framework for efficiently selecting a neural network model for a given task: classification or regression. The algorithm, named Automatic Model Selection, is a modified micro-genetic algorithm that automatically and efficiently finds the most suitable neural network model for a given dataset. The main contributions of this method are a simple list based encoding for neural networks as genotypes in an evolutionary algorithm, new crossover, and mutation operators, the introduction of a fitness function that considers both, the accuracy of the model and its complexity and a method to measure the similarity between two neural networks. AMS is evaluated on two different datasets. By comparing some models obtained with AMS to state-of-the-art models for each dataset we show that AMS can automatically find efficient neural network models. Furthermore, AMS is computationally efficient and can make use of distributed computing paradigms to further boost its performance.

研究动机与目标

• 解决非专家用户在神经网络架构与超参数选择上手动操作、耗时费力的挑战。
• 开发一个完全自动化、可扩展的框架，同时搜索模型架构与超参数。
• 在模型性能与复杂度之间取得平衡，以支持在内存受限系统中的部署。
• 实现搜索过程的高效并行与分布式执行，以加快收敛速度。
• 为非专家用户提供开箱即用的解决方案，无需深入机器学习专业知识即可获得具有竞争力的神经网络模型。

提出的方法

• 将神经网络编码为简单的层类型与超参数列表，以支持高效的进化计算。
• 设计专用的交叉与变异算子，以生成有效且结构合理的神经网络架构。
• 定义复合适应度函数，同时优化模型准确率（在验证集上的表现）与架构复杂度（参数数量）。
• 引入神经网络之间的相似性度量，以支持多样性维护与进化稳定性。
• 实施部分训练策略，以加速适应度评估并降低计算成本。
• 通过与 Ray 或 Spark 等框架集成，实现并行与分布式执行，以提升可扩展性。

实验结果

研究问题

• RQ1 进化算法能否高效搜索高维、分层的神经网络架构与超参数空间？
• RQ2 自动化方法在无需人工干预的情况下，能否良好平衡模型准确率与复杂度？
• RQ3 所提出的方法能否比人工或启发式方法更快、以更少的计算资源找到具有竞争力的模型？
• RQ4 该方法在使用分布式计算框架时的可扩展性如何？
• RQ5 神经网络之间的相似性度量在多大程度上提升了搜索过程的质量与多样性？

主要发现

• AMS 在 CMAPSS 数据集上找到了测试 RMSE 为 14.39 的神经网络模型，优于人工设计的时序窗口 MLP（15.16 RMSE）与深度 MLP 集成模型（15.04 RMSE）。
• 该算法识别出参数量少于 100 万的紧凑模型，尽管部分模型的参数量比人工设计的对应模型高出一个数量级。
• AMS 在配备现代 CPU 与 GPU 的中等配置系统上，仅用不到 5 分钟便找到具有竞争力的模型，展现出极高的计算效率。
• 该方法表现出强大的可扩展性，通过使用 Ray 或 Spark 等框架进行分布式计算，性能可进一步提升。
• 在 CMAPSS 数据集上，模型大小与性能之间无明显相关性，表明大小本身不足以作为模型质量的代理指标。
• 适应度函数有效平衡了准确率与复杂度，生成的模型既准确又适合在内存受限环境中部署。