[论文解读] Learning beyond datasets: Knowledge Graph Augmented Neural Networks for Natural language Processing

K. M. Annervaz, Somnath Basu Roy Chowdhury+1 more|arXiv (Cornell University)|Feb 16, 2018

Topic Modeling参考文献 33被引用 16

一句话总结

本文提出了一种知识图谱增强的神经网络，通过注意力机制动态检索相关世界知识以提升NLP模型性能。通过使用卷积架构压缩实体和关系表征，该方法在文本分类和自然语言蕴涵任务上显著提升性能，即使仅使用30%的标注数据，也证明了将结构化世界知识整合到深度学习中的有效性。

ABSTRACT

Machine Learning has been the quintessential solution for many AI problems, but learning is still heavily dependent on the specific training data. Some learning models can be incorporated with a prior knowledge in the Bayesian set up, but these learning models do not have the ability to access any organised world knowledge on demand. In this work, we propose to enhance learning models with world knowledge in the form of Knowledge Graph (KG) fact triples for Natural Language Processing (NLP) tasks. Our aim is to develop a deep learning model that can extract relevant prior support facts from knowledge graphs depending on the task using attention mechanism. We introduce a convolution-based model for learning representations of knowledge graph entity and relation clusters in order to reduce the attention space. We show that the proposed method is highly scalable to the amount of prior information that has to be processed and can be applied to any generic NLP task. Using this method we show significant improvement in performance for text classification with News20, DBPedia datasets and natural language inference with Stanford Natural Language Inference (SNLI) dataset. We also demonstrate that a deep learning model can be trained well with substantially less amount of labeled training data, when it has access to organised world knowledge in the form of knowledge graph.

研究动机与目标

• 解决深度学习模型仅依赖标注训练数据的局限性，通过引入外部结构化世界知识。
• 使深度学习模型能够在推理过程中动态访问并整合来自大规模知识图谱的相关事实。
• 通过利用外部知识库，降低对大规模标注训练数据的依赖。
• 开发一种可扩展的通用框架，适用于多种NLP任务，而不仅限于特定数据集。
• 证明整合世界知识可使模型性能优于在完整数据集上训练的标准模型。

提出的方法

• 使用卷积神经网络学习知识图谱中实体和关系簇的紧凑表征，以减少注意力空间。
• 在压缩的知识图谱表征上应用注意力机制，按需检索与任务相关的事实。
• 在最终预测前将检索到的知识与输入特征进行整合，实现数据与知识的联合学习。
• 该框架设计为通用结构，可无缝集成到任何特定任务的深度学习模型中，例如用于文本分类和NLI的LSTM。
• 采用软注意力机制，支持通过随机梯度下降进行端到端训练，确保可微性。
• 使用基于结构的方法对知识图谱的事实三元组（h, r, t）进行嵌入，联合学习实体和关系表征。

实验结果

研究问题

• RQ1 深度学习模型是否可以通过在推理过程中动态检索大规模知识图谱中的相关事实而得到增强？
• RQ2 即使在标注数据显著减少的情况下，知识增强模型是否仍能超越标准模型？
• RQ3 如何高效地在大规模知识图谱上应用注意力机制，仅检索相关事实？
• RQ4 是否可以设计一种可扩展的通用框架，将世界知识集成到任意NLP模型中，而无需针对特定任务重新训练？
• RQ5 整合结构化世界知识是否能提升深度学习模型的泛化能力并减少对数据的依赖？

主要发现

• 即使仅使用70%的数据进行训练，KG增强模型在20Newsgroups数据集上的准确率仍高于在完整数据集上训练的基线LSTM模型。
• 在SNLI数据集上，KG增强模型的准确率超过了在完整数据上训练的基线LSTM，证明了知识注入的有效性。
• 在使用较少数据时，KG增强模型的训练损失显著更低，表明其收敛更快且优化效果更优。
• 通过卷积编码学习实体和关系簇的紧凑表征，模型显著减少了注意力空间。
• 该方法在包含数百万个事实三元组的大规模知识库上表现出强大的可扩展性，同时保持高性能。
• 结果表明，知识图谱增强可显著降低深度学习对大规模标注数据集的依赖。