[论文解读] Large Scale Evolution of Convolutional Neural Networks Using Volunteer Computing

Travis Desell|arXiv (Cornell University)|Mar 15, 2017

Evolutionary Algorithms and Applications参考文献 26被引用 15

一句话总结

本文提出 EXACT，一种新颖的进化算法，通过优化卷积核大小和连接方式，进化卷积神经网络（CNN）的架构，利用 BOINC 平台的志愿者计算资源。在 4,500 台志愿者计算设备上训练超过 120,000 个 CNN 后，该方法在 MNIST 上实现了 98.32% 的测试准确率，尽管采用的是基础的反向传播策略，仍优于人工设计的基准模型。

ABSTRACT

This work presents a new algorithm called evolutionary exploration of augmenting convolutional topologies (EXACT), which is capable of evolving the structure of convolutional neural networks (CNNs). EXACT is in part modeled after the neuroevolution of augmenting topologies (NEAT) algorithm, with notable exceptions to allow it to scale to large scale distributed computing environments and evolve networks with convolutional filters. In addition to multithreaded and MPI versions, EXACT has been implemented as part of a BOINC volunteer computing project, allowing large scale evolution. During a period of two months, over 4,500 volunteered computers on the Citizen Science Grid trained over 120,000 CNNs and evolved networks reaching 98.32% test data accuracy on the MNIST handwritten digits dataset. These results are even stronger as the backpropagation strategy used to train the CNNs was fairly rudimentary (ReLU units, L2 regularization and Nesterov momentum) and these were initial test runs done without refinement of the backpropagation hyperparameters. Further, the EXACT evolutionary strategy is independent of the method used to train the CNNs, so they could be further improved by advanced techniques like elastic distortions, pretraining and dropout. The evolved networks are also quite interesting, showing "organic" structures and significant differences from standard human designed architectures.

研究动机与目标

• 开发一种可扩展的进化算法，能够进化任意卷积神经网络架构，包括卷积核大小和连接方式。
• 通过利用志愿者计算资源实现大规模分布式执行，克服训练和进化 CNN 所需的高计算成本。
• 探究进化后的 CNN 架构是否能在标准基准（如 MNIST）上超越人工设计的架构，在性能和结构新颖性方面表现更优。
• 研究不同进化算子和超参数对进化出的 CNN 架构的质量与多样性的影响。
• 为未来支持 3D 卷积核、池化层以及联合超参数进化等探索提供自动化 CNN 架构搜索的支持。

提出的方法

• EXACT 将卷积核大小和卷积核间连接关系视为基因特征，通过突变修改卷积核尺寸和连接模式。
• 该算法采用异步、分布式的进化策略，通过 BOINC 平台在数千台志愿者计算主机上实现水平扩展。
• 适应度由反向传播训练后的验证误差最小化决定，训练中使用 ReLU、L2 正则化和 Nesterov 动量。
• 进化算子包括边的启用/禁用、卷积核大小突变，以及父代基因组间的交叉，同时采用表观遗传权重初始化，将父代训练权重传递给子代。
• 该方法支持任意卷积核大小和连接方式，将 CNN 建模为图结构，其中卷积操作由输入/输出卷积核尺寸和卷积核大小定义。
• 系统采用主从架构实现：主节点管理种群和适应度评估，从节点在本地硬件上评估 CNN。

实验结果

研究问题

• RQ1 神经进化算法能否有效进化卷积神经网络的架构，包括卷积核大小和连接方式，超越固定的人工设计结构？
• RQ2 志愿者计算平台（如 BOINC）在多大程度上能够实现大规模分布式训练与进化，以在标准基准上实现高性能？
• RQ3 在使用相同反向传播策略训练的情况下，进化出的 CNN 架构是否表现出结构多样性与性能提升，相较于传统人工设计的 CNN？
• RQ4 不同进化算子（如边的启用/禁用、交叉）随时间推移如何促进高性能 CNN 架构的发现？
• RQ5 表观遗传权重初始化或其他训练技术是否能进一步提升进化 CNN 的性能，以及它们对收敛速度有何影响？

主要发现

• EXACT 成功进化出的 CNN 在 MNIST 数据集上实现了 98.32% 的测试准确率，超越了使用相同反向传播方法训练的人工设计基准模型。
• 尽管采用的是基础训练策略（ReLU、L2 正则化、Nesterov 动量），进化出的 CNN 在训练误差和测试误差上均显著低于人工设计的架构。
• 在短短两个月内，通过 4,500 台志愿者计算机，成功训练了超过 120,000 个 CNN，证明了分布式 EXACT 框架的可扩展性。
• 进化出的网络呈现出有机的、非标准的结构，包含退化的卷积核和连接，表明其具有与传统 CNN 显著不同的新颖架构模式。
• 交叉和边启用操作随时间推移变得愈发有效，表明未来 EXACT 运行中可能实现自适应超参数调优。
• 表观遗传权重初始化虽未减少训练周期数，但为未来与预训练、Dropout 等先进训练技术的集成显示出潜力。