[论文解读] Memory-Augmented Recurrent Neural Networks Can Learn Generalized Dyck Languages

Mirac Süzgün, Sebastian Gehrmann+2 more|arXiv (Cornell University)|Nov 8, 2019

Music and Audio Processing参考文献 45被引用 29

一句话总结

本文提出了三种增强记忆的RNN架构——Stack-RNN、Stack-LSTM和Baby-NTM，通过模拟下推自动机，成功学习了广义Dyck语言（D_n，n最大达6）。这些模型在识别具有层次性、嵌套的括号结构方面达到了近乎完美的准确率，首次证明了具有有限精度的神经网络能够掌握上下文无关语言所必需的基于栈的计算。

ABSTRACT

We introduce three memory-augmented Recurrent Neural Networks (MARNNs) and explore their capabilities on a series of simple language modeling tasks whose solutions require stack-based mechanisms. We provide the first demonstration of neural networks recognizing the generalized Dyck languages, which express the core of what it means to be a language with hierarchical structure. Our memory-augmented architectures are easy to train in an end-to-end fashion and can learn the Dyck languages over as many as six parenthesis-pairs, in addition to two deterministic palindrome languages and the string-reversal transduction task, by emulating pushdown automata. Our experiments highlight the increased modeling capacity of memory-augmented models over simple RNNs, while inflecting our understanding of the limitations of these models.

研究动机与目标

• 研究增强记忆的RNN是否能够学习需要基于栈机制来处理层次结构的广义Dyck语言。
• 评估增强RNN在涉及长距离依赖和嵌套结构的复杂序列建模任务中的能力。
• 对比增强记忆模型与普通RNN和LSTM在需要显式栈操作任务上的表现。
• 分析增强记忆网络的内部动态，验证其在学习过程中是否模拟了下推自动机。
• 解决先前研究中的不一致现象：标准RNN和部分增强记忆模型无法学习D_2和D_3等Dyck语言。

提出的方法

• 提出三种增强记忆的RNN变体：Stack-RNN、Stack-LSTM和Baby-NTM，每种均集成一个外部一维记忆用于模拟栈操作。
• 在Dyck语言和回文任务的合成数据集上，采用端到端的序列预测和序列转换框架进行训练。
• 实现一种栈机制，其中记忆存储符号，并根据输入标记和模型决策支持压栈/弹栈操作。
• 使用标记符号（如#）触发记忆反转和基于栈的输出生成，用于转换任务。
• 通过推理过程中隐藏状态和记忆内容的可视化，确认模型表现出栈模拟行为。
• 通过改变记忆维度和模型架构进行消融研究，以隔离影响性能的关键因素。

实验结果

研究问题

• RQ1 增强记忆的RNN能否学习广义Dyck语言D_n（n > 1），这些语言需要对层次嵌套匹配进行处理？
• RQ2 为何标准RNN和LSTM无法学习D_2和D_3，而增强记忆模型能够成功？
• RQ3 记忆维度如何影响MARNNs在字符串反转等复杂序列任务中的学习能力？
• RQ4 MARNNs是否学会模拟下推自动机？这种行为能否通过内部状态可视化加以验证？
• RQ5 在回文和字符串反转任务中性能下降的原因是什么？如何缓解？

主要发现

• 所提出的MARNNs在D_2、D_3和D_6语言上均实现了近乎完美的测试准确率，首次成功展示了神经网络学习广义Dyck语言的能力。
• 所有MARNN模型在确定性同态回文和字符串反转任务中均达到100%准确率，前提是输入和输出字母表互不相交。
• 当回文任务中输入和输出两半存在词汇重叠时，模型在90次试验中有87次失败，表明因共享符号导致混淆。
• 将记忆维度从1增加到5后，字符串反转任务的失败问题得以解决，准确率恢复至近乎完美，证实记忆容量在避免局部极小值中的关键作用。
• 记忆状态的可视化结果表明，MARNNs通过在前半段压入符号，并在遇到#标记后按相反顺序弹出，成功模拟了下推自动机的行为。
• 在所有任务中，模型均优于普通RNN和LSTM，表明外部记忆显著提升了对层次结构建模的能力。