[论文解读] GADAM: Genetic-Evolutionary ADAM for Deep Neural Network Optimization

Jiawei Zhang, Fisher B. Gouza|arXiv (Cornell University)|May 19, 2018

Advanced Neural Network Applications参考文献 31被引用 25

一句话总结

GADAM 提出了一种新颖的优化算法，结合了 Adam 和遗传算法，以更有效、更高效地训练深度神经网络。通过使用 Adam 进行训练，并利用遗传操作进行选择和变异，GADAM 能够跳出局部最优解，在多个基准测试中实现更快的收敛速度和更优越的性能。

ABSTRACT

Deep neural network learning can be formulated as a non-convex optimization problem. Existing optimization algorithms, e.g., Adam, can learn the models fast, but may get stuck in local optima easily. In this paper, we introduce a novel optimization algorithm, namely GADAM (Genetic-Evolutionary Adam). GADAM learns deep neural network models based on a number of unit models generations by generations: it trains the unit models with Adam, and evolves them to the new generations with genetic algorithm. We will show that GADAM can effectively jump out of the local optima in the learning process to obtain better solutions, and prove that GADAM can also achieve a very fast convergence. Extensive experiments have been done on various benchmark datasets, and the learning results will demonstrate the effectiveness and efficiency of the GADAM algorithm.

研究动机与目标

• 解决 Adam 在非凸深度学习优化过程中容易陷入局部最优的局限性。
• 结合 Adam 的快速收敛特性和遗传算法的全局搜索能力，以提升优化的鲁棒性。
• 通过基于种群的进化框架，实现深度学习训练的高效并行与分布式部署。
• 在多种数据集上，与 Adam 及其他基线优化方法相比，展示出更优的性能和更快的收敛速度。

提出的方法

• 在每代中使用 Adam 优化算法训练一组单元模型。
• 通过遗传算法算子（选择、交叉、变异）在代际间演化种群。
• 使用模型性能（如验证准确率）作为适应度函数，指导高性能模型的繁殖选择。
• 保持固定的种群规模，并通过遗传操作生成后代，逐步替换表现较差的模型。
• 通过将代内计算与代间演化解耦，支持独立运行以及并行/分布式执行。
• 在每个模型的训练阶段集成来自 Adam 的自适应学习率和动量项，以确保个体的快速收敛。

实验结果

研究问题

• RQ1 结合 Adam 和遗传算法的混合方法是否能提升深度神经网络中的优化性能？
• RQ2 GADAM 框架是否能有效逃离非凸损失曲面中常使 Adam 困住的局部最优？
• RQ3 在多种数据集上，GADAM 的收敛速度和最终模型准确率与 Adam 及其他基线方法相比如何？
• RQ4 GADAM 在并行和分布式计算环境中能实现多大程度的高效扩展？
• RQ5 种群规模在多大程度上影响 GADAM 中的模型演化动态和子模型采纳率？

主要发现

• 在 MNIST 数据集上使用 LeNet-5，GADAM 达到了 99.40% 的测试准确率，优于 Adam（99.10%）和其他基线方法。
• 在 ORL 人脸识别数据集上，GADAM 在每人仅 9 张图像的情况下达到 100.00% 的准确率，超过 Adam（98.50%）和 gcForest（97.50%）。
• 在 LETTER 数据集上，GADAM 使用 MLP 达到 96.90% 的准确率，略低于 gcForest（97.40%），但显著优于 SVM 和 kNN。
• 在效率分析中，GADAM 的训练时间随线程数从 1 增加到 10 而持续减少，表现出强大的并行可扩展性。
• 早期代际中子模型采纳率较高，表明探索能力有效；但随着时间推移，高性能父模型逐渐主导，采纳率下降。
• 由于遗传算法组件具备全局搜索机制，GADAM 对噪声数据和非光滑损失函数表现出鲁棒性。