[论文解读] Larger-Context Language Modelling

Tian Wang, Kyunghyun Cho|arXiv (Cornell University)|Nov 11, 2015

Topic Modeling参考文献 31被引用 46

一句话总结

本文提出了一种更大上下文的语言模型，通过使用基于注意力的句子编码与晚期融合机制，将话语层面的上下文整合到循环神经网络语言模型中，从而提升性能。该方法显著降低了困惑度，尤其在名词、形容词和动词等内容词上表现更优，相比标准自回归模型，其文档级主题建模能力得到增强。

ABSTRACT

In this work, we propose a novel method to incorporate corpus-level discourse information into language modelling. We call this larger-context language model. We introduce a late fusion approach to a recurrent language model based on long short-term memory units (LSTM), which helps the LSTM unit keep intra-sentence dependencies and inter-sentence dependencies separate from each other. Through the evaluation on three corpora (IMDB, BBC, and PennTree Bank), we demon- strate that the proposed model improves perplexity significantly. In the experi- ments, we evaluate the proposed approach while varying the number of context sentences and observe that the proposed late fusion is superior to the usual way of incorporating additional inputs to the LSTM. By analyzing the trained larger- context language model, we discover that content words, including nouns, adjec- tives and verbs, benefit most from an increasing number of context sentences. This analysis suggests that larger-context language model improves the unconditional language model by capturing the theme of a document better and more easily.

研究动机与目标

• 通过引入超越句子级别依赖关系的语料级话语上下文，改进神经语言建模。
• 解决标准RNN语言模型假设句子之间相互独立的局限性。
• 探究更大上下文是否能降低困惑度，以及内容词是否比功能词受益更多。
• 比较将上下文整合到LSTM单元中的晚期融合与早期融合策略。
• 分析上下文长度对模型性能及词性类别可预测性的影响。

提出的方法

• 提出一种晚期融合方法，即在每个时间步将前序句子的上下文向量与LSTM隐藏状态拼接，而非早期输入到输入门。
• 使用词袋（BoW）或序列化BoW表示法，并结合注意力机制，将多个上下文句子压缩为单一上下文向量。
• 在上下文句子上应用注意力机制，动态加权其相关性，从而提升上下文表征质量。
• 使用交叉熵损失端到端训练模型，以最小化下一个词预测的困惑度。
• 采用改进的LSTM架构，通过晚期融合分别处理句内与句间依赖关系。
• 使用Stanford POS标注器对词语进行分类，并按词性标签计算困惑度以供分析。

实验结果

研究问题

• RQ1 与标准自回归模型相比，从多个前序句子中引入话语层面的上下文是否能改善语言模型的困惑度？
• RQ2 在性能和泛化能力方面，将上下文向量晚期融合到LSTM隐藏状态是否优于早期融合？
• RQ3 内容词（如名词、形容词、动词）是否比功能词（如代词、限定词）从更大上下文中的获益更多？
• RQ4 上下文句子的数量如何影响模型性能和词的可预测性？
• RQ5 注意力机制能否有效将长上下文序列压缩为对语言建模有意义的向量？

主要发现

• 与标准RNN语言模型相比，该大上下文语言模型在IMDB、BBC和Penn Treebank数据集上显著降低了每个词的困惑度。
• 在所有数据集和上下文长度下，晚期融合方法均优于早期融合，证明其在整合话语上下文方面的有效性。
• 内容词——名词、形容词和动词——在上下文长度增加时表现出最大的可预测性提升（困惑度最低）。
• 功能词如代词（PRP）、限定词（DT）和并列连词（CC）在上下文增多时困惑度略有下降，表明模型容量存在权衡。
• 模型通过更好地捕捉主题依赖关系，提升了文档级连贯性，这从开放类、富含内容的词语性能提升中得到验证。