[论文解读] A Neural Knowledge Language Model

Sungjin Ahn, Heeyoul Choi+2 more|arXiv (Cornell University)|Aug 1, 2016

Topic Modeling参考文献 45被引用 112

一句话总结

NKLM 将知识图谱与 RNN 语言模型集成，通过从事实描述中复制来生成带有知识含义的词，并在预测一个词是否基于事实时作出预测。

ABSTRACT

Current language models have a significant limitation in the ability to encode and decode factual knowledge. This is mainly because they acquire such knowledge from statistical co-occurrences although most of the knowledge words are rarely observed. In this paper, we propose a Neural Knowledge Language Model (NKLM) which combines symbolic knowledge provided by the knowledge graph with the RNN language model. By predicting whether the word to generate has an underlying fact or not, the model can generate such knowledge-related words by copying from the description of the predicted fact. In experiments, we show that the NKLM significantly improves the performance while generating a much smaller number of unknown words.

研究动机与目标

• 激发并解决传统语言模型在编码和解码事实性知识方面的局限性。
• 引入一种将来自知识图谱的符号知识与神经语言建模相结合的神经模型。
• 通过从事实描述中复制来生成含知识的词，同时保留标准词汇生成。
• 表明利用知识图谱可以减少未知词数量并提升知识丰富文本的困惑度相关指标。

提出的方法

• 提出 NKLM，在每个时间步预测下一个词是否具有潜在事实。
• 将事实表示为知识记忆中的嵌入，在选择知识词时从描述的对象词中进行复制。
• 使用 LSTM 整合词和事实信息，并通过事实键机制从记忆矩阵 F 提取事实嵌入。
• 计算二进制源决策 z_t，在词汇生成与从知识词复制之间进行选择；在复制时，在知识描述中选择一个位置。
• 通过对齐词与相应事实并描述主题的增强观测进行监督学习训练。
• 使用与 Freebase/Wikipedia 对齐的 WikiFacts 数据集来评估面向知识的语言建模。

实验结果

研究问题

• RQ1 将知识图谱集成到基于 LSTM 的语言模型中，是否可以提高事实性词和命名实体词的生成？
• RQ2 对知识词的复制机制是否能减少未知词的使用并改善知识丰富文本的困惑度指标？
• RQ3 在不重新训练的情况下，知识更新或修改时 NKLM 的表现如何？

主要发现

• 在 WikiFacts-FilmActor 数据集上，NKLM 在困惑度和未知词指标方面优于标准 RNNLM。
• 基于从知识词复制的生成显著减少 UNK 代币的数量。
• 即使复制机制被禁用，包含事实信息也能改善语言建模，但完整的 NKLM 能带来最大的提升。
• 基于 TransE 的知识图谱实体嵌入有助于模型性能；随机向量会降低结果，显示结构化事实的重要性。
• NKLM 可以通过更新知识记忆嵌入，立即适应知识的变化而无需重新训练。