[论文解读] An Aggressive Genetic Programming Approach for Searching Neural Network Structure Under Computational Constraints

Zhe Li, Xuehan Xiong+4 more|arXiv (Cornell University)|Jun 3, 2018

Evolutionary Algorithms and Applications参考文献 25被引用 3

一句话总结

本文提出 AG-Evolution，一种激进的遗传编程方法，在严格的计算约束下高效搜索最优卷积神经网络（CNN）架构。通过激进地剪枝弱个体并提高突变频率以维持多样性，该方法在 MNIST、SVHN、CIFAR-10 和 CIFAR-100 上实现了最先进（SOTA）的准确率，且 GPU 使用时间显著减少——证明了高性能模型可在无需人工设计归纳偏置或大规模计算资源的情况下被发现。

ABSTRACT

Recently, there emerged revived interests of designing automatic programs (e.g., using genetic/evolutionary algorithms) to optimize the structure of Convolutional Neural Networks (CNNs) for a specific task. The challenge in designing such programs lies in how to balance between large search space of the network structures and high computational costs. Existing works either impose strong restrictions on the search space or use enormous computing resources. In this paper, we study how to design a genetic programming approach for optimizing the structure of a CNN for a given task under limited computational resources yet without imposing strong restrictions on the search space. To reduce the computational costs, we propose two general strategies that are observed to be helpful: (i) aggressively selecting strongest individuals for survival and reproduction, and killing weaker individuals at a very early age; (ii) increasing mutation frequency to encourage diversity and faster evolution. The combined strategy with additional optimization techniques allows us to explore a large search space but with affordable computational costs. Our results on standard benchmark datasets (MNIST, SVHN, CIFAR-10, CIFAR-100) are competitive to similar approaches with significantly reduced computational costs.

研究动机与目标

• 开发一种遗传编程方法，以在搜索空间中不施加强结构约束的情况下发现高性能 CNN 架构。
• 解决神经架构搜索（NAS）中搜索空间大小与计算成本之间的权衡，尤其针对计算资源有限的用户。
• 实现在实际计算预算下高效且有效的全自动、无需人工干预的神经架构发现。
• 探究在计算受限条件下，激进的选择策略与增强的突变是否能维持多样性并显著缩短训练时间。
• 在标准基准（MNIST、SVHN、CIFAR-10、CIFAR-100）上验证该方法，并与以往最先进方法在准确率和效率方面进行比较。

提出的方法

• 采用激进的选择策略，仅保留最适应的个体进行繁殖，早期丢弃较弱个体以减少计算浪费。
• 通过在最适应个体的克隆体上应用多个不同的突变来提高突变频率和多样性，以应对种群多样性降低的问题。
• 使用一组基本操作（如卷积、池化、跳跃连接）定义灵活的搜索空间，支持复杂且多路径的架构。
• 采用固定代数并为表现较差的个体设置早期停止机制，以加速进化过程。
• 应用额外的优化技术，如早停和模型压缩，以缩短每个个体的训练时间。
• 端到端进化网络，无需人工干预——无手动调参、无层添加或结构修改。

实验结果

研究问题

• RQ1 在神经架构搜索中，遗传编程中的激进选择是否能在不牺牲搜索质量的前提下降低计算成本？
• RQ2 在计算资源受限条件下，提高突变频率是否能补偿进化 NAS 中因种群多样性降低带来的影响？
• RQ3 完全自动化、无需人工干预的遗传算法是否能在标准基准上以极少的 GPU 使用量发现具有竞争力的 CNN 架构？
• RQ4 所提方法在准确率和计算效率方面与以往最先进 NAS 方法相比表现如何？
• RQ5 在无任何人为偏见的情况下，进化过程中涌现出哪些架构模式（如跳跃连接、多路径设计）？

主要发现

• AG-Evolution 在 MNIST 上实现了 0.9969 的测试准确率，与最先进结果持平，仅使用 35 GPU 小时，显著低于 Genetic-CNN 所用的 48 GPU 小时。
• 在 CIFAR-10 上，AG-Evolution 达到 90.52% 的测试准确率，仅用 72 GPU 小时，优于 Genetic-CNN（77.06% 准确率，408 GPU 小时），且接近 LS-Evolution 的 91.80% 准确率，但成本仅为后者的几分之一。
• 在 SVHN 上，AG-Evolution 在 60 GPU 小时内达到 95.41% 准确率，优于 NA-Evolution（96.20% 准确率，552 GPU 小时），并显著降低了计算成本。
• 在 CIFAR-100 上，AG-Evolution 在 184 GPU 小时内达到 68.04% 准确率，优于 NA-Evolution（65.60% 准确率，552 GPU 小时），并展现出在不同数据集上的可扩展性。
• 在 CIFAR-10 和 CIFAR-100 上发现的架构具有带跳跃连接的多路径结构，类似于 Inception 和 ResNet 设计——表明进化过程能够重新发现有效的架构模式。
• 进化过程在各数据集上均表现出持续的性能提升，测试准确率随代数稳步上升，证实了激进选择与突变策略的有效性。