[论文解读] Evolving Deep Neural Networks

Risto Miikkulainen, Jason Liang+9 more|arXiv (Cornell University)|Mar 1, 2017

Machine Learning and Data Classification被引用 6

一句话总结

本文提出 CoDeepNEAT，一种协同优化深度神经网络拓扑结构、组件和超参数的进化算法，可自动发现高性能网络架构。该方法在图像识别和语言建模任务中达到与最先进人工设计模型相当的性能，并成功实现在真实世界杂志网站上的自动图像字幕生成。

ABSTRACT

The success of deep learning depends on finding an architecture to fit the task. As deep learning has scaled up to more challenging tasks, the architectures have become difficult to design by hand. This paper proposes an automated method, CoDeepNEAT, for optimizing deep learning architectures through evolution. By extending existing neuroevolution methods to topology, components, and hyperparameters, this method achieves results comparable to best human designs in standard benchmarks in object recognition and language modeling. It also supports building a real-world application of automated image captioning on a magazine website. Given the anticipated increases in available computing power, evolution of deep networks is promising approach to constructing deep learning applications in the future.

研究动机与目标

• 解决深度学习架构日益复杂、难以人工设计的问题。
• 开发一种可同时优化深度神经网络拓扑结构、组件和超参数的自动化方法。
• 证明进化优化可生成在标准基准测试中与人工设计模型相媲美甚至更优的网络架构。
• 实现在真实世界应用（如自动图像字幕生成）中部署所进化出的模型。

提出的方法

• 扩展 NEAT 神经进化算法，以协同进化网络拓扑结构、组件类型（如卷积层、LSTM）和超参数。
• 基于梯度下降训练性能进行适应度评估，而非直接使用验证集上的准确率。
• 采用多层级进化过程，在进化过程中训练并评估网络，以指导选择。
• 支持完整 DNN 流水线的端到端进化，包括架构组件及其配置。
• 利用分布式计算基础设施，在进化过程中对数千个网络进行并行训练以实现可扩展性。
• 在进化循环中集成基于梯度的训练，以确保所进化出的架构具备可训练性和有效性。

实验结果

研究问题

• RQ1 进化算法能否协同优化深度神经网络的拓扑结构、组件和超参数，以达到或超越人工设计的架构？
• RQ2 在图像分类和语言建模等标准基准测试中，进化架构搜索的效率如何？
• RQ3 所进化出的深度网络能否成功应用于真实世界应用，如图像字幕生成？
• RQ4 计算规模在多大程度上影响所进化架构的性能？

主要发现

• 所进化模型在 MSCOCO 数据集上取得 BLEU-4 得分为 29.1，优于人工设计基线的 27.7。
• 所进化模型在 CIDEr 指标上得分为 88.0，超过基线的 85.5，表明字幕质量更优。
• 在杂志网站上的人工评估中，所进化模型在标志性图像上的字幕评分达到 3.0/4.0，在所有图像上的评分为 2.0/4.0，显示出实际可行性。
• 该方法在无需人工干预架构选择的情况下，发现了与最先进人工设计相当的网络架构。
• 由于评估过程中进行部分训练，进化优化倾向于选择学习速度快的模型，提示其在准确率之外具备多目标优化的潜力。
• 随着计算能力的提升，该方法有望超越人工设计模型，推动深度学习在更广泛场景中的应用。