[论文解读] Attention-based Memory Selection Recurrent Network for Language Modeling

Da-Rong Liu, Shun-Po Chuang+1 more|arXiv (Cornell University)|Nov 26, 2016

Topic Modeling参考文献 21被引用 4

一句话总结

该论文提出了一种基于注意力机制的记忆选择循环网络（AMSRN），一种基于LSTM的语言模型，通过注意力机制从先前时间步中动态选择相关记忆状态，并学习隐藏状态中哪些维度对注意力权重贡献最大。AMSRN在英语和中文语言建模任务中均优于标准LSTM和现有的注意力机制模型（如RMN），展现出更强的鲁棒性以及在多样化语料上的稳定性能提升。

ABSTRACT

Recurrent neural networks (RNNs) have achieved great success in language modeling. However, since the RNNs have fixed size of memory, their memory cannot store all the information about the words it have seen before in the sentence, and thus the useful long-term information may be ignored when predicting the next words. In this paper, we propose Attention-based Memory Selection Recurrent Network (AMSRN), in which the model can review the information stored in the memory at each previous time step and select the relevant information to help generate the outputs. In AMSRN, the attention mechanism finds the time steps storing the relevant information in the memory, and memory selection determines which dimensions of the memory are involved in computing the attention weights and from which the information is extracted.In the experiments, AMSRN outperformed long short-term memory (LSTM) based language models on both English and Chinese corpora. Moreover, we investigate using entropy as a regularizer for attention weights and visualize how the attention mechanism helps language modeling.

研究动机与目标

• 为解决RNN中固定大小记忆的局限性，该局限性可能在下一个词预测过程中丢弃有用的长期上下文信息。
• 通过使模型能够选择性地关注所有先前时间步中存储在LSTM记忆中的相关信息，从而提升语言建模性能。
• 开发一种记忆选择机制，学习隐藏状态中哪些维度对注意力计算最为相关，而非将所有维度同等对待。
• 研究对注意力权重应用熵正则化是否能提升模型泛化能力。
• 可视化并分析注意力机制如何通过识别因果关系、重复触发词和语法依赖等模式来增强语言建模。

提出的方法

• AMSRN在标准LSTM之上集成注意力机制，使模型能够关注所有先前时间步中存储在LSTM隐藏状态中的相关信息。
• 记忆选择机制通过端到端训练学习隐藏状态中哪些维度对计算注意力权重和信息提取最为相关。
• 注意力权重通过当前LSTM隐藏状态派生的查询向量与过去隐藏状态的键向量计算，经由查询与键向量的逐元素乘法后，再进行softmax操作。
• 模型使用参数化的加权向量控制每个记忆维度在注意力计算中的贡献，从而实现对相关特征的动态选择。
• 对注意力权重应用熵正则化以鼓励稀疏性并提升泛化能力，但实验结果表明其在不同数据集上的效果不一。
• 该架构保留了原始LSTM结构，支持使用标准LSTM语言模型进行预训练。

实验结果

研究问题

• RQ1 将注意力机制与LSTM结合，如何在包括低资源或词形复杂的语言（如中文）在内的多样化语料上提升语言建模性能？
• RQ2 记忆选择在增强注意力机制语言模型中的作用是什么？与将所有记忆维度同等对待的模型相比，其表现如何？
• RQ3 对注意力权重应用熵正则化是否能带来性能提升，并在不同语言数据集上实现更稳定的注意力分布？
• RQ4 AMSRN中的注意力权重如何反映因果关系、重复触发词或语法依赖等语言现象？
• RQ5 与现有注意力机制模型（如RMN和RMR）相比，该模型在不同语言类型上的鲁棒性和泛化能力方面有多大程度的超越？

主要发现

• AMSRN在所有三个数据集上均显著优于标准LSTM：在Penn Treebank（133.36 vs. 143.31）、Switchboard（92.49 vs. 93.90）和Chinese Gigaword（86.85 vs. 94.03）上的困惑度表现更优。
• 引入记忆选择机制显著提升了性能，优于仅使用注意力的模型，表明对记忆维度进行选择性加权对有效注意力至关重要。
• 熵正则化在Penn Treebank上提升了性能（131.43），但在Switchboard和Chinese Gigaword上导致性能下降，表明稀疏注意力并非在所有情况下均为最优。
• 与RMN和RMR相比，AMSRN在不同语料上展现出更强的鲁棒性，后两者在中文语料上表现不一致，尤其表现欠佳。
• 可视化结果显示，AMSRN中的注意力机制能够关注到因果关系、重复触发词、短语结构和语法一致等相关语言线索，体现出良好的可解释性。
• 该模型能够根据时间步动态选择相关记忆维度，从而比固定或均匀加权的注意力机制更有效地利用长期上下文信息。