[论文解读] Recurrent Memory Networks for Language Modeling

Ke Tran, Arianna Bisazza+1 more|arXiv (Cornell University)|Jan 6, 2016

Topic Modeling参考文献 34被引用 22

一句话总结

本文提出了一种新型RNN架构——循环记忆网络（RMN），通过集成一个记忆模块，使长短期记忆（LSTM）网络能够选择性地关注相关的历史词汇，从而提升性能。RMN在语言建模和句子补全任务上达到最先进水平，在句子补全挑战赛中比LSTM高出11.2%的准确率，并通过显式的注意力机制提升了对语言模式的可解释性。

ABSTRACT

Recurrent Neural Networks (RNN) have obtained excellent result in many natural language processing (NLP) tasks. However, understanding and interpreting the source of this success remains a challenge. In this paper, we propose Recurrent Memory Network (RMN), a novel RNN architecture, that not only amplifies the power of RNN but also facilitates our understanding of its internal functioning and allows us to discover underlying patterns in data. We demonstrate the power of RMN on language modeling and sentence completion tasks. On language modeling, RMN outperforms Long Short-Term Memory (LSTM) network on three large German, Italian, and English dataset. Additionally we perform in-depth analysis of various linguistic dimensions that RMN captures. On Sentence Completion Challenge, for which it is essential to capture sentence coherence, our RMN obtains 69.2% accuracy, surpassing the previous state-of-the-art by a large margin.

研究动机与目标

• 为解决标准RNN（如LSTM）在捕捉语言依赖关系方面缺乏可解释性的问题，特别是其对语言依赖的建模机制。
• 通过引入记忆模块组件，使模型能够选择性地关注相关的历史词汇，从而提升语言建模性能。
• 分析模型所捕捉的语言维度，特别是句法结构和依存结构，而无需显式的句法监督。
• 将RMN架构扩展至语言建模以外的任务，如句子补全，此类任务对连贯性和长距离依赖关系要求较高。
• 证明记忆模块不仅提升了性能，还实现了比标准LSTM更深的可解释性。

提出的方法

• RMN架构将标准LSTM与一个记忆块（MB）结合，该MB会关注最近的输入词汇，并选择相关词汇用于下一步的词预测。
• MB基于其与当前LSTM隐藏状态及目标词的相关性，对历史词汇计算注意力分布。
• 模型采用门控机制更新记忆内容，使其能够在长序列中存储和检索相关信息。
• RMN采用交叉熵损失进行端到端训练，且在每个LSTM层后应用Dropout进行正则化。
• 探索了两种变体：单向-RM（仅使用过去上下文）和双向-RM（使用过去和未来上下文），其中单向-RM表现更优。
• 通过记忆块的注意力权重分析模型行为，并研究语言依赖关系，如长距离共现和句法模式。

实验结果

研究问题

• RQ1 记忆增强型RNN架构是否能在语言建模性能上超越标准LSTM？
• RQ2 RMN在无显式句法监督的情况下，能在多大程度上隐式学习句法和依存结构？
• RQ3 记忆块中的注意力机制在捕捉文本中长距离依赖关系方面起到了何种作用？
• RQ4 能否通过显式关注过去词汇来提升NLP任务中模型决策的可解释性？
• RQ5 RMN是否能在需要句子级连贯性的任务（如句子补全）中实现泛化？

主要发现

• RMN在句子补全挑战赛中取得了69.2%的准确率，显著高于此前最先进水平的58.9%。
• 在三个大规模语言建模数据集（德语、意大利语、英语）上，RMN在困惑度指标上优于LSTM基线，展现出更强的建模能力。
• 单向-RM变体优于双向-RM，表明在该架构中，对已处理上下文的关注比引入未来词汇更可靠。
• 即使未使用显式句法特征，模型仍能隐式捕捉对词预测至关重要的长距离共现和依存类型。
• 记忆块中的注意力机制使语言模式（如句法依赖和语义连贯性）的可解释性分析成为可能。
• RMN的性能提升归因于其选择性关注相关历史词汇的能力，从而同时提升了准确率与可解释性。