[论文解读] From Nodes to Networks: Evolving Recurrent Neural Networks

Aditya Rawal and Risto Miikkulainen|arXiv (Cornell University)|Mar 12, 2018

Evolutionary Algorithms and Applications参考文献 24被引用 29

一句话总结

本文提出一种基于树形编码的进化方法，可自动发现超越标准LSTM结构的改进循环神经网络架构。通过进化具有多重循环路径和记忆单元的节点，该方法在语言建模任务中取得显著性能提升，同时利用辅助LSTM加速搜索并促进新颖性。

ABSTRACT

Gated recurrent networks such as those composed of Long Short-Term Memory (LSTM) nodes have recently been used to improve state of the art in many sequential processing tasks such as speech recognition and machine translation. However, the basic structure of the LSTM node is essentially the same as when it was first conceived 25 years ago. Recently, evolutionary and reinforcement learning mechanisms have been employed to create new variations of this structure. This paper proposes a new method, evolution of a tree-based encoding of the gated memory nodes, and shows that it makes it possible to explore new variations more effectively than other methods. The method discovers nodes with multiple recurrent paths and multiple memory cells, which lead to significant improvement in the standard language modeling benchmark task. The paper also shows how the search process can be speeded up by training an LSTM network to estimate performance of candidate structures, and by encouraging exploration of novel solutions. Thus, evolutionary design of complex neural network structures promises to improve performance of deep learning architectures beyond human ability to do so.

研究动机与目标

• 为解决循环网络架构设计停滞不前的问题，即LSTM结构在过去25年中基本保持不变。
• 探索基于自动化的、进化驱动的方法，以发现更高效的循环节点结构。
• 通过新颖的架构配置提升在序列任务（如语言建模）上的性能。
• 利用学习到的性能预测器加速高性能架构的搜索过程。

提出的方法

• 采用树形编码表示门控记忆节点的架构，实现对结构变异的系统性探索。
• 使用进化算法搜索编码节点设计的空间，优先选择具有多重循环路径和记忆单元的结构。
• 训练一个辅助LSTM以预测候选节点架构的性能，从而减少昂贵的完整训练评估次数。
• 引入新颖性促进机制，鼓励探索多样化且非冗余的架构。
• 基于预测性能和结构多样性，通过选择、变异和交叉操作进化节点结构。
• 在标准语言建模基准上评估进化后的架构，以验证性能提升。

实验结果

研究问题

• RQ1 基于树形编码的进化搜索能否发现优于标准LSTM的循环节点架构？
• RQ2 使用学习到的性能预测器在加速高性能RNN架构搜索方面有多高效？
• RQ3 在进化过程中涌现出的哪些架构特征（如多重记忆单元或循环路径）对性能提升有贡献？
• RQ4 促进结构新颖性在多大程度上提升了有效架构的发现？
• RQ5 所进化出的架构在多大程度上能泛化到搜索空间之外，并在标准基准上取得最先进性能？

主要发现

• 与基线LSTM相比，所进化出的节点架构在标准语言建模基准上实现了显著性能提升。
• 具有多重循环路径和多重记忆单元的结构被持续发现，并对性能提升有贡献。
• 使用性能预测LSTM显著减少了搜索过程中所需的完整训练评估次数，从而加速了搜索过程。
• 在搜索过程中引入新颖性鼓励机制，促成了更多样化且更高效的架构的发现。
• 该进化方法成功发现了超越人工设计LSTM的架构，证明了自动化神经架构搜索在超越人类直觉方面的潜力。