[论文解读] Contextual LSTM (CLSTM) models for Large scale NLP tasks

Shalini Ghosh, Oriol Vinyals+4 more|arXiv (Cornell University)|Feb 19, 2016

Topic Modeling参考文献 48被引用 190

一句话总结

CLSTM 在 LSTM 的基础上增加了主题-上下文特征，以在 Wikipedia 和 Google News 数据上改进词语预测、下一句选择和句子主题预测，并取得相对于强基线 LSTM 的显著相对提升。

ABSTRACT

Documents exhibit sequential structure at multiple levels of abstraction (e.g., sentences, paragraphs, sections). These abstractions constitute a natural hierarchy for representing the context in which to infer the meaning of words and larger fragments of text. In this paper, we present CLSTM (Contextual LSTM), an extension of the recurrent neural network LSTM (Long-Short Term Memory) model, where we incorporate contextual features (e.g., topics) into the model. We evaluate CLSTM on three specific NLP tasks: word prediction, next sentence selection, and sentence topic prediction. Results from experiments run on two corpora, English documents in Wikipedia and a subset of articles from a recent snapshot of English Google News, indicate that using both words and topics as features improves performance of the CLSTM models over baseline LSTM models for these tasks. For example on the next sentence selection task, we get relative accuracy improvements of 21% for the Wikipedia dataset and 18% for the Google News dataset. This clearly demonstrates the significant benefit of using context appropriately in natural language (NL) tasks. This has implications for a wide variety of NL applications like question answering, sentence completion, paraphrase generation, and next utterance prediction in dialog systems.

研究动机与目标

• 通过使用基于主题的信号来建模文档中的长程上下文信息，以改进语言模型。
• 开发一个 CLSTM 架构，将主题嵌入注入到 LSTM 的门控中。
• 在大规模语料库（Wikipedia 和 Google News）上评估 CLSTM 在词语预测、下一句选择和句子主题预测中的表现。
• 分析层次化（句子和段落）主题和无监督思维信号对性能的影响。

提出的方法

• 修改 LSTM 单元方程，将主题向量 T 引入输入门、遗忘门、单元和输出门（将词嵌入与主题嵌入拼接在一起）。
• 使用 HTM 层次主题建模为段（PrevSent、SentSeg、ParaSeg）提供主题分布。
• 在大规模语料库上训练模型（Wikipedia 129K 词汇表，Google News 100K 词汇表），并与仅词的 LSTM 基线进行比较。
• 在各种特征组合下评估词语预测困惑度、下一句评分准确性和句子主题困惑度。
• 用无监督的思维向量（PrevSentThought）作为有监督主题的替代方案进行实验。
• 在 Wikipedia 和 Google News 数据集上给出以 1024 个隐藏单元为参照的结果。
• 提供错误类型分析，并讨论如层次化 LSTM（HLSTM）等潜在扩展。

实验结果

研究问题

• RQ1 通过 CLSTM 将话题上下文整合是否会在强 LSTM 基线之上提升词语预测困惑度？
• RQ2 在提供句子级和段落级话题信号的情况下，CLSTM 是否能改进下一句选择准确性，使其优于 LSTM？
• RQ3 使用词+话题特征是否比仅使用单独的词或话题更能提高句子主题预测的准确性？
• RQ4 不同话题信号变体（PrevSentTopic、SentSegTopic、ParaSegTopic）如何影响性能？
• RQ5 无监督的思维向量是否为 CLSTM 提供了可行的替代有监督话题信号？

主要发现

• CLSTM 结合 Word + SentSegTopic + ParaSegTopic 在 Wikipedia 与 Google News 的词语预测困惑度方面达到最佳表现。
• 在添加句子级和段落级话题后，词语预测困惑度得到提升，且在超过 1024 个隐藏单元时收益趋于递减。
• 下一句评分：LSTM 的准确率为 52%，CLSTM 为 63%（Wikipedia 测试数据集），相对提升为 21%。
• 句子主题预测：CLSTM 使用 Word+SentTopic 的困惑度相对于基线 SentTopic 提升超过 12%。
• 使用思维向量（PrevSentThought）的 CLSTM 相对于仅词模型在困惑度上有改善，但有监督的话题信号可能带来更大收益。
• 在 Google News 上，CLSTM 在下一句选择准确率方面相对于 LSTM 提升约 18%，在主题预测任务上提升约 9%。