[论文解读] A Flexible Approach to Automated RNN Architecture Generation

Martin Schrimpf, Stephen Merity+2 more|arXiv (Cornell University)|Dec 20, 2017

Topic Modeling参考文献 19被引用 11

一句话总结

本文提出一种领域特定语言（DSL），用于灵活且自动地生成循环神经网络（RNN）架构，通过随机搜索与强化学习发现新颖且非直觉的RNN结构。该DSL支持任意深度与宽度，包含标准与非标准算子（如三角函数、层归一化），所生成的架构在语言建模与机器翻译任务中表现优于基线模型，尽管其结构违背人类直觉。

ABSTRACT

The process of designing neural architectures requires expert knowledge and extensive trial and error. While automated architecture search may simplify these requirements, the recurrent neural network (RNN) architectures generated by existing methods are limited in both flexibility and components. We propose a domain-specific language (DSL) for use in automated architecture search which can produce novel RNNs of arbitrary depth and width. The DSL is flexible enough to define standard architectures such as the Gated Recurrent Unit and Long Short Term Memory and allows the introduction of non-standard RNN components such as trigonometric curves and layer normalization. Using two different candidate generation techniques, random search with a ranking function and reinforcement learning, we explore the novel architectures produced by the RNN DSL for language modeling and machine translation domains. The resulting architectures do not follow human intuition yet perform well on their targeted tasks, suggesting the space of usable RNN architectures is far larger than previously assumed.

研究动机与目标

• 为解决现有自动化RNN架构搜索方法在灵活性与组件多样性方面的局限性。
• 通过高度表达的领域特定语言（DSL），实现超越人类设计模式的新型RNN架构发现。
• 探究通过自动化搜索生成的架构——尤其是使用非标准算子的架构——是否能在真实世界自然语言处理任务中实现优异性能。
• 评估两种候选生成策略的有效性：基于排名函数的随机搜索与强化学习。

提出的方法

• 定义一种领域特定语言（DSL），将RNN架构表示为操作的树形结构，包括一元操作（如ReLU、Sigmoid）、二元操作（如Add、Mult）和三元操作（如Gate3）。
• DSL支持任意深度与宽度，允许中间节点复用，并通过节点编号实现长期记忆状态（c_t）的建模。
• 基于递归神经网络的排名函数将DSL表示展开，通过建模隐藏状态随时间的动力学，预测模型性能。
• 采用两种候选生成策略：(1) 基于排名函数的随机搜索，(2) 使用REINFORCE算法的强化学习，以优化架构提案。
• 生成器产出候选架构，经编译后在下游任务（如语言建模、机器翻译）上评估，反馈结果用于重新训练排名函数与生成器。
• 该框架支持非标准组件，如正弦曲线、除法与层归一化，从而扩展了传统RNN组件之外的搜索空间。

实验结果

研究问题

• RQ1 灵活的DSL能否实现自动发现新颖RNN架构，并在自然语言处理任务中超越LSTM与GRU等标准模型？
• RQ2 尽管违背人类直觉，通过自动化搜索生成的架构——尤其是使用非标准算子的架构——在多大程度上表现优异？
• RQ3 基于排名函数的随机搜索与强化学习在发现高性能RNN架构方面的有效性如何？
• RQ4 生成架构的性能是否在不同数据集间具有泛化能力，还是对训练数据规模与分布敏感？
• RQ5 标准指标如损失与BLEU分数与模型的定性性能相关性如何？

主要发现

• DSL成功生成了新颖的RNN架构，在Multi30k翻译数据集上超越LSTM基线，测试BLEU分数达36.53，高于LSTM的34.05。
• 一个五层嵌套Gate3架构结合层归一化，在Multi30k上实现验证损失5.66与测试BLEU 36.35，优于LSTM基线。
• 在更大的IWSLT’16数据集上，最佳生成架构实现测试BLEU 23.04，略高于LSTM基线的24.39，但性能在不同数据集间表现不一致。
• 包含非标准组件（如正弦曲线与除法）的架构表现出色，表明可用RNN架构的搜索空间远超以往假设。
• 验证损失与BLEU分数之间的相关性欠佳，部分模型在一项指标上得分高，另一项则表现差，表明当前评估指标存在局限性。
• 强化学习智能体与排名函数随时间改进，生成器通过评估结果反馈，逐步学会提出更优的架构。