[论文解读] Genetic CNN

Lingxi Xie, Alan Yuille|arXiv (Cornell University)|Mar 4, 2017

Bioinformatics and Genomic Networks被引用 11

一句话总结

本文提出 Genetic CNN，一种利用遗传算法自动搜索高性能深度卷积神经网络架构的方法。通过将网络结构编码为固定长度的二进制字符串，并应用选择、变异和交叉操作，该方法在小规模数据集（MNIST、CIFAR10）上进化网络架构，随后成功迁移至 ILSVRC2012，取得具有竞争力的准确率——例如，GeNet #2 在 ILSVRC2012 上达到 27.87% 的 top-1 错误率，优于深度相似的 VGGNet-16。

ABSTRACT

The deep Convolutional Neural Network (CNN) is the state-of-the-art solution for large-scale visual recognition. Following basic principles such as increasing the depth and constructing highway connections, researchers have manually designed a lot of fixed network structures and verified their effectiveness. In this paper, we discuss the possibility of learning deep network structures automatically. Note that the number of possible network structures increases exponentially with the number of layers in the network, which inspires us to adopt the genetic algorithm to efficiently traverse this large search space. We first propose an encoding method to represent each network structure in a fixed-length binary string, and initialize the genetic algorithm by generating a set of randomized individuals. In each generation, we define standard genetic operations, e.g., selection, mutation and crossover, to eliminate weak individuals and then generate more competitive ones. The competitiveness of each individual is defined as its recognition accuracy, which is obtained via training the network from scratch and evaluating it on a validation set. We run the genetic process on two small datasets, i.e., MNIST and CIFAR10, demonstrating its ability to evolve and find high-quality structures which are little studied before. These structures are also transferrable to the large-scale ILSVRC2012 dataset.

研究动机与目标

• 探索超越人工设计的深度神经网络架构的自动设计方法。
• 通过可扩展的搜索方法应对网络结构随深度增加而指数级增长的问题。
• 评估在小数据集上进化出的架构是否能泛化至大规模视觉识别任务。
• 证明遗传算法能够发现文献中尚未探索过的非标准、高性能架构。

提出的方法

• 将每个神经网络架构编码为固定长度的二进制字符串，以支持遗传操作。
• 为遗传算法初始化一组随机网络结构（个体）。
• 在多代中应用标准遗传操作——选择、交叉和变异，以进化种群。
• 通过在参考数据集（MNIST 或 CIFAR10）上进行完整训练和验证，评估每个个体的适应度。
• 使用验证集上的识别准确率作为适应度函数，引导进化过程。
• 将表现最佳的进化架构迁移至大规模 ILSVRC2012 进行评估。

实验结果

研究问题

• RQ1 遗传算法能否有效探索可能的深度 CNN 架构的广阔空间？
• RQ2 在小数据集（如 CIFAR10）上进化出的架构是否能泛化至大规模识别任务（如 ILSVRC2012）？
• RQ3 遗传算法能否发现新颖且高性能的架构，超越标准的手动设计模型？
• RQ4 在准确率和结构方面，进化出的架构与 SOTA 模型（如 VGGNet、ResNet 和 GoogLeNet）相比如何？

主要发现

• 遗传算法在 MNIST 和 CIFAR10 上成功进化出新颖的网络架构，在某些情况下错误率低于标准模型。
• GeNet #2 在 ILSVRC2012 上达到 27.87% 的 top-1 错误率，优于深度相近的 VGGNet-16（28.5%）。
• 特别是 GeNet #1 和 #2，表现出从小型数据集到大规模数据集的强泛化能力。
• 遗传过程产生的最佳架构在文献中尚未被研究过，且表现出具有竞争力的性能。
• 该方法对不同的初始化策略表现出鲁棒性，表明遗传过程具有稳定的收敛性。
• 尽管计算成本较高，该方法仍证明在无需依赖人工设计架构偏见的情况下，能有效发现高质量结构。