[论文解读] Inferring Algorithmic Patterns with Stack-Augmented Recurrent Nets

Armand Joulin, Tomáš Mikolov|arXiv (Cornell University)|Mar 3, 2015

Neural Networks and Applications参考文献 33被引用 175

一句话总结

本文提出了一种堆栈增强的循环神经网络（Stack RNNs），通过引入可训练、可微分的堆栈内存，增强了标准RNN在学习需要计数和结构化记忆的算法模式方面的能力。通过使用乘法门控机制控制堆栈操作（压栈/弹栈），该模型能够泛化到训练分布之外的长序列，在平衡括号序列和二进制加法等任务上优于标准RNN和LSTM。

ABSTRACT

Despite the recent achievements in machine learning, we are still very far from achieving real artificial intelligence. In this paper, we discuss the limitations of standard deep learning approaches and show that some of these limitations can be overcome by learning how to grow the complexity of a model in a structured way. Specifically, we study the simplest sequence prediction problems that are beyond the scope of what is learnable with standard recurrent networks, algorithmically generated sequences which can only be learned by models which have the capacity to count and to memorize sequences. We show that some basic algorithms can be learned from sequential data using a recurrent network associated with a trainable memory.

研究动机与目标

• 解决标准RNN在学习需要计数和长期记忆的算法模式方面的局限性。
• 探究结构化、可训练的记忆是否能使RNN泛化到训练时未见过的更长序列。
• 探索堆栈和列表记忆拓扑结构在学习上下文无关和上下文相关序列方面的有效性。
• 证明可微分记忆机制能够在无需对记忆操作进行显式监督的情况下学习复杂算法行为。
• 在序列建模和语言建模基准上，比较Stack RNN与标准RNN、LSTM和SRCN的性能。

提出的方法

• 通过使用乘法门控机制控制压栈和弹栈操作，将标准RNN增强为具有可微分、可训练堆栈内存的模型。
• 通过受约束的循环矩阵运算定义内存更新，使网络能够学习堆栈上的读写行为。
• 采用基于堆栈的记忆结构，其中每个堆栈存储序列，并支持压入符号和带进位追踪的弹出操作。
• 使用由简单算法（如a^n b^n、a^n b^n c^n）生成的序列，通过随机梯度下降进行端到端训练。
• 实现多堆栈架构，其中不同堆栈承担不同角色（如存储输入、追踪位置、管理二进制加法中的进位）。
• 通过测试在训练中未见过的序列长度（如最多60个符号，而训练时最多仅20个）来评估泛化能力。

实验结果

研究问题

• RQ1 可微分的堆栈增强RNN能否学习标准RNN无法学习的算法模式，例如平衡括号序列？
• RQ2 堆栈增强RNN在多大程度上能够泛化到比训练时见过的更长的序列？
• RQ3 不同记忆拓扑结构（堆栈 vs. 列表）在算法序列生成任务上的学习性能有何影响？
• RQ4 该模型能否仅通过堆栈操作学习模拟复杂行为（如带进位的二进制加法）？
• RQ5 在语言建模任务中，Stack RNN与标准RNN、LSTM和SRCN相比性能如何？

主要发现

• Stack RNNs在仅用长度最多20的序列进行训练的情况下，成功泛化到长度高达60的序列，表现出强大的归纳偏差，适用于算法泛化。
• 该模型学会使用多个堆栈承担不同角色——例如，一个堆栈存储第一个数字，另一个堆栈追踪位置，第三个堆栈管理二进制加法中的进位。
• 在Penn Treebank语言建模任务中，Stack RNNs优于标准RNN和SRCN，测试困惑度达到118，但相比LSTM和SRCN仍表现较差。
• 该模型学会模拟一种指数衰减的词袋记忆形式，类似于SRCN，但通过可微分堆栈操作实现。
• 在平衡序列任务（如a^n b^n和a^n b^n c^n）上，Stack RNNs实现了接近完美的性能，对未见过的长序列误差极低。
• 乘法门控的使用使网络能够有效学习对堆栈操作的控制，从而在无需对记忆使用进行显式监督的情况下执行复杂、结构化的计算。