[论文解读] Large-Scale Evolution of Image Classifiers

Esteban Real, Sherry Moore+6 more|arXiv (Cornell University)|Mar 3, 2017

Evolutionary Algorithms and Applications参考文献 39被引用 544

一句话总结

论文表明，从简单、非卷积起点出发的大规模神经进化可以产生与手工设计模型媲美的完整训练图像分类器，在 CIFAR-10 和 CIFAR-100 上达到 94.6% 的测试准确率（使用集成可达到 95.6%），以及 CIFAR-100 的 77.0%。

ABSTRACT

Neural networks have proven effective at solving difficult problems but designing their architectures can be challenging, even for image classification problems alone. Our goal is to minimize human participation, so we employ evolutionary algorithms to discover such networks automatically. Despite significant computational requirements, we show that it is now possible to evolve models with accuracies within the range of those published in the last year. Specifically, we employ simple evolutionary techniques at unprecedented scales to discover models for the CIFAR-10 and CIFAR-100 datasets, starting from trivial initial conditions and reaching accuracies of 94.6% (95.6% for ensemble) and 77.0%, respectively. To do this, we use novel and intuitive mutation operators that navigate large search spaces; we stress that no human participation is required once evolution starts and that the output is a fully-trained model. Throughout this work, we place special emphasis on the repeatability of results, the variability in the outcomes and the computational requirements.

研究动机与目标

• 激励图像分类的自动化结构发现，以尽量减少人工干预。
• 表明简单的进化过程在大规模上可以产生高性能的卷积网络。
• 展示大规模神经进化的重复性、变异性以及计算需求。

提出的方法

• 使用一个大规模并行、异步的进化算法，采用锦标赛选择，在 1000 个神经网络架构的种群上。
• 将架构编码为一个可变图（DNA），其激活张量通过卷积边相连。
• 应用变异，插入/移除卷积、改变步幅、通道数、滤波器大小，以及增添/移除跳跃连接等。
• 使用 SGD 和动量，将每个候选者训练固定步数（25,600），通过验证准确率来评估适应度。
• 权重继承允许在层形状匹配时复用权重，使得变异后的后代在不从头开始的情况下也能达到完全训练。

实验结果

研究问题

• RQ1 从平凡初始条件出发的简单一次性进化过程，是否能产生与手工设计模型匹敌的完全训练好图像分类器？
• RQ2 种群规模和每个个体的训练步数如何影响大规模神经进化中的性能、重复性以及对局部最优的收敛？
• RQ3 将算法应用于 CIFAR-100 时，CIFAR-10 的进化性是否无需改动？
• RQ4 该方法的计算成本与可扩展性为何，以及权重继承对结果有何影响？
• RQ5 突变与重组在逃离局部最优以及改进结构中的作用？

主要发现

• 演化模型在 CIFAR-10 的测试准确率平均约 94.1%，最优模型为 94.6%，集成后为 95.6%。
• 在 CIFAR-100 上，单次实验达到 77.0% 的测试准确率。
• 在五次大规模运行中，按验证准确率排名第一的模型达到 94.6%，标准差为 0.4%。
• 五次实验的总计算量约为 4×10^20 FLOPs，每次实验约为 9×10^19 FLOPs。
• 权重继承对获得高准确率很重要；禁用它会降低性能。
• 增加种群规模和每个个体的训练步数可提升结果，并有助于逃离局部最优。