[论文解读] GACNN: Training Deep Convolutional Neural Networks with Genetic Algorithm

Parsa Esfahanian, Mohammad Akhavan|arXiv (Cornell University)|Sep 29, 2019

Neural Networks and Applications被引用 10

一句话总结

本文提出GACNN，一种使用遗传算法（GAs）训练深度卷积神经网络（CNNs）的新方法，引入了折纸（Accordion）染色体编码以大幅减少染色体大小并提升效率。它评估了三种GA方案——稳态、世代和精英策略，表明与基于Adam的反向传播相比，精英策略结合折纸编码在CIFAR-10等复杂任务的早期训练阶段实现了更快的收敛速度和更高的准确率。

ABSTRACT

Convolutional Neural Networks (CNNs) have gained a significant attraction in the recent years due to their increasing real-world applications. Their performance is highly dependent to the network structure and the selected optimization method for tuning the network parameters. In this paper, we propose novel yet efficient methods for training convolutional neural networks. The most of current state of the art learning method for CNNs are based on Gradient decent. In contrary to the traditional CNN training methods, we propose to optimize the CNNs using methods based on Genetic Algorithms (GAs). These methods are carried out using three individual GA schemes, Steady-State, Generational, and Elitism. We present new genetic operators for crossover, mutation and also an innovative encoding paradigm of CNNs to chromosomes aiming to reduce the resulting chromosome's size by a large factor. We compare the effectiveness and scalability of our encoding with the traditional encoding. Furthermore, the performance of individual GA schemes used for training the networks were compared with each other in means of convergence rate and overall accuracy. Finally, our new encoding alongside the superior GA-based training scheme is compared to Backpropagation training with Adam optimization.

研究动机与目标

• 解决传统反向传播配合Adam优化器在复杂CNN任务早期训练阶段效率低下的问题。
• 克服基于遗传算法的CNN训练中传统网络到染色体编码的局限性，该方法在大型网络中变得不可行。
• 开发一种新颖且紧凑的染色体编码（折纸编码），将整个层视为基因以减少染色体大小并提升GA效率。
• 设计并评估专用于CNN架构优化的新型遗传算子（交叉和变异）。
• 在收敛速度和最终准确率方面，比较三种GA方案——稳态、世代和精英策略——在CNN训练中的表现。

提出的方法

• 提出折纸染色体编码，其中每个层（卷积层或全连接层）被编码为单一基因，与逐权编码相比，显著减少了染色体长度。
• 引入新型遗传算子：一种逐层交叉，可在父代染色体之间交换整个层；以及一种变异算子，可修改与层相关的超参数（如滤波器数量、卷积核大小）。
• 采用三种不同的GA训练方案：稳态（逐次替换一个个体）、世代（整体替换种群）和精英策略（在各代间保留最优个体）。
• 将基于GA的训练应用于MNIST和CIFAR-10数据集上的两种深度CNN架构，使用验证准确率作为适应度函数。
• 将基于GA的训练与使用Adam优化器的标准反向传播进行比较，评估收敛速度和最终准确率。
• 采用一种适应度评估机制，在每代结束后测量网络在验证数据上的性能，以指导进化选择。

实验结果

研究问题

• RQ1 新颖的染色体编码策略是否能显著减小遗传算法中CNN表示的规模，从而提升可扩展性和性能？
• RQ2 在训练深度CNN时，不同GA方案——稳态、世代和精英策略——在收敛速度和最终准确率方面如何比较？
• RQ3 基于GA的训练结合所提出的编码与算子，是否在复杂数据集的早期训练阶段优于标准的Adam反向传播？
• RQ4 折纸编码在多大程度上提升了遗传算子在CNN架构优化中的效率与有效性？
• RQ5 精英策略是否能结合世代GA的探索能力与稳态GA的稳定性，从而实现更优的训练结果？

主要发现

• 与传统的逐权编码相比，折纸编码显著减小了染色体大小，使GA操作更快速，进化更高效。
• 精英策略GA方案在收敛速度与最终准确率之间实现了最佳平衡，其稳定性与最终性能优于稳态和世代方案。
• 结合折纸编码与精英策略的GA训练在早期训练阶段比基于Adam的反向传播更快达到更高的验证准确率，尤其在更复杂的CIFAR-10数据集上表现突出。
• 在MNIST数据集上，该方法的GA训练准确率低于Adam，但在早期代次中收敛更快，表明其具有更快的初始探索能力。
• 在CIFAR-10数据集上，基于GA的方法最终超越了Adam的准确率，证明其在复杂、高维问题中更有效地拓展了解空间。
• 世代方案初始收敛最快，但存在振荡现象，难以长期维持高准确率；而稳态方案收敛较慢但稳定。