[论文解读] Autonomous Deep Learning: A Genetic DCNN Designer for Image Classification

Benteng Ma, Yong Xia|arXiv (Cornell University)|Jul 1, 2018

Advanced Neural Network Applications参考文献 28被引用 10

一句话总结

该论文提出了一种遗传深度卷积神经网络（DCNN）设计工具，通过优化的遗传算法自主生成适用于图像分类任务的最优DCNN架构。通过将网络组件编码为整数向量并利用选择、交叉和突变进行演化，该方法在MNIST、Fashion-MNIST、EMNIST和CIFAR数据集上生成的模型性能与当前最先进网络相当或更优。

ABSTRACT

Recent years have witnessed the breakthrough success of deep convolutional neural networks (DCNNs) in image classification and other vision applications. Although freeing users from the troublesome handcrafted feature extraction by providing a uniform feature extraction-classification framework, DCNNs still require a handcrafted design of their architectures. In this paper, we propose the genetic DCNN designer, an autonomous learning algorithm can generate a DCNN architecture automatically based on the data available for a specific image classification problem. We first partition a DCNN into multiple stacked meta convolutional blocks and fully connected blocks, each containing the operations of convolution, pooling, fully connection, batch normalization, activation and drop out, and thus convert the architecture into an integer vector. Then, we use refined evolutionary operations, including selection, mutation and crossover to evolve a population of DCNN architectures. Our results on the MNIST, Fashion-MNIST, EMNISTDigit, EMNIST-Letter, CIFAR10 and CIFAR100 datasets suggest that the proposed genetic DCNN designer is able to produce automatically DCNN architectures, whose performance is comparable to, if not better than, that of stateof- the-art DCNN models

研究动机与目标

• 消除图像分类任务中对人工专家驱动的DCNN架构设计的需求。
• 开发一种自主学习系统，能够在极少人工干预的情况下生成最优网络架构。
• 解决现有进化方法在深度、滤波器大小或激活函数方面施加固定约束的局限性。
• 通过灵活的、基于整数向量的编码方案，实现可扩展的数据驱动DCNN架构生成。
• 证明进化搜索能够生成与手工设计的最先进架构相竞争或更优的模型。

提出的方法

• 将DCNN架构分解为堆叠的元卷积和全连接模块，每个模块包含卷积、池化、批归一化、激活、Dropout和全连接层等操作。
• 每个网络配置均编码为整数向量，从而在遗传算法框架内实现高效表示与操作。
• 采用优化的遗传算法，通过选择、交叉和突变操作在多代中演化DCNN架构群体。
• 基于训练100个周期后的验证准确率评估每个候选架构的适应度。
• 算法采用固定群体规模，并在每个数据集上演化10代，每代性能均被监控。
• 基于每个数据集中表现最佳的架构选择优化器（Adam、Nadam）和超参数。

实验结果

研究问题

• RQ1 遗传算法能否自主生成在图像分类任务中性能与最先进手工设计模型相当或更优的DCNN架构？
• RQ2 所提出的整数向量编码方案如何实现对复杂、高维架构空间的有效且高效的探索？
• RQ3 在不设定架构约束（如固定深度、滤波器大小）的情况下，对生成架构的多样性与质量提升程度如何？
• RQ4 遗传演化在不同数据集上收敛到高性能架构的速度如何？
• RQ5 该方法能否生成紧凑、非深层的网络，同时仍保持与现有模型相当的准确率而不损失性能？

主要发现

• 在CIFAR10上，遗传DCNN设计工具实现了89.32%的测试准确率，在评估模型中排名第三，仅次于ResNet（90.61%）和Capsule Net（89.40%）。
• 在CIFAR100上，生成的模型达到了66.70%的准确率，优于AlexNet（60.53%）、VGGNet（64.37%）和Highway Net（67.60%），排名第三。
• 表现最佳的架构在仅10代后即在准确率上趋于稳定，表明进化过程具有快速收敛性。
• 该方法始终生成的层数少于最先进模型的对应架构，表明其倾向于生成紧凑且高效的网络。
• 计算成本较高，CIFAR10和CIFAR100每代平均需要11个GPU天，反映出评估大规模架构群体的复杂性。
• 尽管计算需求高，该方法仍证明了完全自主、数据驱动的DCNN架构搜索的可行性，并取得了具有竞争力的结果。