[论文解读] Fast-DENSER++: Evolving Fully-Trained Deep Artificial Neural Networks

Filipe Assunção, Nuno Lourenço+2 more|arXiv (Cornell University)|May 8, 2019

Evolutionary Algorithms and Applications参考文献 19被引用 6

一句话总结

Fast-DENSER++ 是一种增强的神经进化框架，通过在代际间动态扩展每个个体的训练时间，使完全训练的深度神经网络在进化后可立即投入部署。其在 CIFAR-10 上达到 88.73% 的测试准确率，显著优于 F-DENSER（86.91%），并消除了进化后微调的需要。

ABSTRACT

This paper proposes a new extension to Deep Evolutionary Network Structured Evolution (DENSER), called Fast-DENSER++ (F-DENSER++). The vast majority of NeuroEvolution methods that optimise Deep Artificial Neural Networks (DANNs) only evaluate the candidate solutions for a fixed amount of epochs; this makes it difficult to effectively assess the learning strategy, and requires the best generated network to be further trained after evolution. F-DENSER++ enables the training time of the candidate solutions to grow continuously as necessary, i.e., in the initial generations the candidate solutions are trained for shorter times, and as generations proceed it is expected that longer training cycles enable better performances. Consequently, the models discovered by F-DENSER++ are fully-trained DANNs, and are ready for deployment after evolution, without the need for further training. The results demonstrate the ability of F-DENSER++ to effectively generate fully-trained DANNs; by the end of evolution, whilst the average performance of the models generated by F-DENSER++ is of 88.73%, the performance of the models generated by the previous version of DENSER (Fast-DENSER) is 86.91% (statistically significant), which increases to 87.76% when allowed to train for longer.

研究动机与目标

• 解决神经进化中固定训练时间导致网络评估不充分且需进化后微调的局限性。
• 实现完全训练的深度神经网络（DANNs）的演化，使其在进化优化后即可直接投入生产使用。
• 通过在进化过程中提供足够长的训练时间以实现收敛，提升对演化学习策略的评估质量。
• 在延长个体训练时间的前提下，通过最小化整体计算开销，保持高效率。
• 证明演化模型在无需进化后额外训练的情况下，可超越标准训练和扩展训练基线。

提出的方法

• 引入一种动态训练时间调度机制，使训练时长随进化代数增加而增长。
• 在 Fast-DENSER 框架基础上，引入时间自适应评估策略，为后期代的个体分配更多训练时间。
• 使用基于语法的神经架构表示法，编码可配置层、激活函数和学习算法的全连接网络与卷积网络。
• 在进化表示中集成多种优化算法（如 Adam、RMSProp、SGD）及其可调超参数（如初始学习率、动量）。
• 应用早停策略以防止过拟合，同时确保进化训练阶段的收敛性。
• 通过进化计算同时演化网络拓扑与学习策略，以验证集准确率为适应度指标。

实验结果

研究问题

• RQ1 神经进化框架能否通过动态分配每个个体的训练时间，在无需进化后微调的情况下提升最终模型性能？
• RQ2 在代际间逐步增加训练时长的网络演化，是否能比固定时长训练获得更好的泛化性能？
• RQ3 F-DENSER++ 中演化出的学习策略在应用于相同模型时，能否超越标准训练基线？
• RQ4 与 F-DENSER 和 DENSER 相比，F-DENSER++ 的性能提升是否具有统计显著性？
• RQ5 F-DENSER++ 中的动态训练策略是否减少了对进化后重训练的需求，同时保持或提升模型准确率？

主要发现

• F-DENSER++ 在 CIFAR-10 上达到 88.73% 的测试准确率，显著优于 F-DENSER 的 86.91%（p = 0.03156），效应量较大。
• 即使 F-DENSER 网络被重新训练至收敛，其平均测试准确率（87.76%）仍低于 F-DENSER++ 的进化性能。
• F-DENSER++ 的中位性能比 F-DENSER 高约 1%，相当于多正确分类约 100 个测试样本。
• F-DENSER++ 通过在进化过程中完成完全训练，减少了对进化后训练的需求，消除了神经进化流水线中的主要瓶颈。
• 每代平均训练时间从 0.73 小时增加至 1.13 小时，仍远低于 DENSER 的 10.83 小时/代，表明其具有高效率。
• 统计分析证实，F-DENSER++ 的进化性能显著优于 F-DENSER，p 值均低于 0.05，且效应量较大。