[论文解读] Context based Text-generation using LSTM networks

Sivasurya Santhanam|arXiv (Cornell University)|Apr 30, 2020

Topic Modeling参考文献 14被引用 9

一句话总结

该论文提出了一种上下文感知的基于LSTM的文本生成模型，通过将从词聚类或特定领域嵌入中提取的上下文向量整合到序列建模中，以提升语义一致性。通过让LSTM在输入序列和上下文向量的联合条件下预测下一个词，该模型在与基线模型相比，与所提供上下文的语义相似度显著提高，其中使用特定领域嵌入的模型表现更优。

ABSTRACT

Long short-term memory(LSTM) units on sequence-based models are being used in translation, question-answering systems, classification tasks due to their capability of learning long-term dependencies. In Natural language generation, LSTM networks are providing impressive results on text generation models by learning language models with grammatically stable syntaxes. But the downside is that the network does not learn about the context. The network only learns the input-output function and generates text given a set of input words irrespective of pragmatics. As the model is trained without any such context, there is no semantic consistency among the generated sentences. The proposed model is trained to generate text for a given set of input words along with a context vector. A context vector is similar to a paragraph vector that grasps the semantic meaning(context) of the sentence. Several methods of extracting the context vectors are proposed in this work. While training a language model, in addition to the input-output sequences, context vectors are also trained along with the inputs. Due to this structure, the model learns the relation among the input words, context vector and the target word. Given a set of context terms, a well trained model will generate text around the provided context. Based on the nature of computing context vectors, the model has been tried out with two variations (word importance and word clustering). In the word clustering method, the suitable embeddings among various domains are also explored. The results are evaluated based on the semantic closeness of the generated text to the given context.

研究动机与目标

• 为解决基于LSTM的文本生成中缺乏语义一致性的问题，通过引入超越输入序列的上下文信息。
• 探索有效提取上下文向量的方法，以捕捉输入句子的语义含义。
• 使用语义相似度度量评估上下文向量对文本生成质量的影响。
• 确定上下文感知语言建模的最优训练时长和模型配置。
• 展示上下文感知生成在实际NLP任务（如问答系统和聊天机器人）中的适用性。

提出的方法

• 提出一种改进的LSTM架构，同时接收输入词序列和上下文向量作为输入，以生成目标词。
• 采用两种上下文提取方法：在预训练向量空间（如Word2Vec、GloVe）中进行词重要性排序和词聚类。
• 使用时间反向传播（BPTT）进行端到端训练，同时优化输入-输出序列和上下文向量。
• 使用生成句子中的名词与上下文词之间的余弦相似度作为语义接近度的评估指标。
• 每3个周期应用一次评估指标，以监控训练进度并检测过拟合。
• 比较在维基百科衍生嵌入和特定领域嵌入上训练的模型性能，以评估上下文质量。

实验结果

研究问题

• RQ1 将上下文向量整合到基于LSTM的文本生成中，能否提升与输入上下文的语义一致性？
• RQ2 在上下文感知的文本生成中，词重要性法与词聚类法哪种方法性能更优？
• RQ3 选择不同的词嵌入空间（如维基百科与特定领域）如何影响生成文本的质量？
• RQ4 模型在训练过程中的哪个阶段达到与上下文的最优语义相似度？是否存在过拟合现象？
• RQ5 上下文感知生成能否有效应用于实际NLP应用，如问答系统和对话系统？

主要发现

• 上下文感知的LSTM模型显著优于无上下文向量的基线模型，表现为随时间推移，余弦相似度得分更高且更稳定。
• 使用特定领域向量空间中通过词聚类提取的上下文向量训练的模型，性能优于使用维基百科嵌入的模型。
• 模型在约20个周期时达到峰值性能，最优领域模型的语义相似度得分在67%至85%之间。
• 余弦相似度评估方法能有效检测过拟合，因为性能在最优训练期后开始下降。
• 使用特定领域嵌入生成上下文向量，可实现更语义相关且上下文一致的文本生成。
• 结果表明，上下文感知的文本生成可推广至需要主题感知或结构引导响应的应用，如问答系统和聊天机器人。