[论文解读] Neuroevolution of Neural Network Architectures Using CoDeepNEAT and Keras

Jonas da Silveira Bohrer, Bruno Iochins Grisci+1 more|arXiv (Cornell University)|Feb 11, 2020

Evolutionary Algorithms and Applications参考文献 65被引用 11

一句话总结

本文提出了一种 CoDeepNEAT 的开源实现，这是一种利用进化算法自动搜索神经网络架构和超参数的神经进化框架，与 Keras 深度学习库集成。该方法在小规模种群和有限硬件条件下，于 MNIST 和 CIFAR-10 数据集上实现了具有竞争力的性能，证明了在普通硬件上实现可访问、自动化的神经架构搜索的可行性。

ABSTRACT

Machine learning is a huge field of study in computer science and statistics dedicated to the execution of computational tasks through algorithms that do not require explicit instructions but instead rely on learning patterns from data samples to automate inferences. A large portion of the work involved in a machine learning project is to define the best type of algorithm to solve a given problem. Neural networks - especially deep neural networks - are the predominant type of solution in the field. However, the networks themselves can produce very different results according to the architectural choices made for them. Finding the optimal network topology and configurations for a given problem is a challenge that requires domain knowledge and testing efforts due to a large number of parameters that need to be considered. The purpose of this work is to propose an adapted implementation of a well-established evolutionary technique from the neuroevolution field that manages to automate the tasks of topology and hyperparameter selection. It uses a popular and accessible machine learning framework - Keras - as the back-end, presenting results and proposed changes concerning the original algorithm. The implementation is available at GitHub (https://github.com/sbcblab/Keras-CoDeepNEAT) with documentation and examples to reproduce the experiments performed for this work.

研究动机与目标

• 为解决手动设计最优神经网络架构和超参数所面临的挑战，该挑战需要大量领域专业知识和计算资源。
• 将基于 NEAT 的神经进化方法 CoDeepNEAT 算法适配并集成至 Keras——一种广泛使用且易于访问的深度学习框架。
• 使研究人员和实践者能够以最少的设置和清晰的文档复现并扩展神经进化实验。
• 在受限硬件资源下，评估 Keras 集成版 CoDeepNEAT 在标准图像分类基准（MNIST 和 CIFAR-10）上的性能表现。
• 识别进化过程中的瓶颈，特别是训练所有生成网络所带来的高计算成本，并提出未来改进方向。

提出的方法

• 该实现采用 CoDeepNEAT 的协同进化机制，其中神经网络模块独立进化，并通过交叉和变异组合。
• 遗传操作包括节点突变和连接突变，以及通过隔离群（speciation）保持多样性，防止过早收敛。
• 算法利用历史标记追踪谱系，实现相似网络结构之间的有意义交叉。
• 使用 Keras 作为神经网络执行的后端，确保与现代深度学习工作流和硬件加速的兼容性。
• 通过在基准数据集上的训练和验证准确率评估网络适应度，选择基于各代性能的个体。
• 该框架支持可配置的种群规模、代数和进化参数，并支持分布式或并行评估。

实验结果

研究问题

• RQ1 CoDeepNEAT 能否有效适配 Keras 深度学习框架，以实现可访问、可复现的神经架构搜索？
• RQ2 在计算资源有限的情况下，Keras-CoDeepNEAT 实现方案在 MNIST 和 CIFAR-10 等标准图像分类基准上的表现如何？
• RQ3 进化过程中存在哪些关键性能瓶颈，特别是每个候选网络的训练时间？
• RQ4 与更大规模的运行相比，小种群规模和较少代数能否生成具有竞争力的网络架构？
• RQ5 如何通过选择性评估或领域特定的拓扑约束等手段降低评估成本？

主要发现

• Keras-CoDeepNEAT 实现能够在仅使用小规模种群和有限硬件的条件下，在 MNIST 和 CIFAR-10 上成功生成具有竞争力的神经网络架构。
• 即使在资源受限的情况下，该方法仍能实现可接受的性能，证明了在普通工作站上实现自动化架构搜索的可行性。
• 更大的种群和更多代数始终能产生更优结果，证实了该方法在计算预算增加时的可扩展性。
• 算法中最耗时的阶段是候选网络的训练，凸显了开发更高效评估策略的必要性。
• 与 Keras 的集成使得现代深度学习工具（如 GPU 加速和模型检查点）得以无缝使用，显著提升了可用性和可复现性。
• 作者指出，未来改进应聚焦于通过选择性评估或领域感知的拓扑生成策略来降低评估成本。