[论文解读] Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning

Tao Shen, Yi Mao+4 more|arXiv (Cornell University)|Apr 29, 2020

Topic Modeling参考文献 44被引用 8

一句话总结

本文提出了一种图引导的表示学习框架，在自监督预训练过程中，通过知识图谱（KGs）将结构化知识注入预训练语言模型。通过使用KGs引导实体级掩码和去干扰排名目标，该方法在问答和知识库补全等下游任务上实现了性能提升，且推理阶段无需检索，实现了五个基准上的最先进结果。

ABSTRACT

In this work, we aim at equipping pre-trained language models with structured knowledge. We present two self-supervised tasks learning over raw text with the guidance from knowledge graphs. Building upon entity-level masked language models, our first contribution is an entity masking scheme that exploits relational knowledge underlying the text. This is fulfilled by using a linked knowledge graph to select informative entities and then masking their mentions. In addition we use knowledge graphs to obtain distractors for the masked entities, and propose a novel distractor-suppressed ranking objective which is optimized jointly with masked language model. In contrast to existing paradigms, our approach uses knowledge graphs implicitly, only during pre-training, to inject language models with structured knowledge via learning from raw text. It is more efficient than retrieval-based methods that perform entity linking and integration during finetuning and inference, and generalizes more effectively than the methods that directly learn from concatenated graph triples. Experiments show that our proposed model achieves improved performance on five benchmark datasets, including question answering and knowledge base completion tasks.

研究动机与目标

• 提升预训练语言模型利用知识图谱中结构化关系知识的能力。
• 减少在微调和推理过程中对昂贵实体链接和检索的依赖。
• 通过从自由文本中学习而非固定三元组，提升泛化能力。
• 开发利用文本中关系和逻辑信息的自监督预训练目标。
• 仅在预训练阶段使用KG，隐式地将结构化知识注入掩码语言模型中。

提出的方法

• 提出一种基于文档频率和KG中互达性的信息性实体选择的KG引导实体掩码方案。
• 利用KG在新颖的去干扰排名目标中生成被掩码实体的干扰项。
• 在预训练过程中联合优化实体掩码和排名目标，以提升表示学习效果。
• 在实体层面采用掩码语言建模目标，即掩码整个实体提及而非单个标记。
• 采用预训练语言模型（如BERT）作为主干网络，仅在预训练阶段使用KG引导。
• 避免直接使用KG三元组；相反，在训练期间将KG用作动态的实体和负样本来源。

实验结果

研究问题

• RQ1 能否通过自监督预训练，有效将知识图谱中的结构化知识注入预训练语言模型？
• RQ2 使用KG引导的实体掩码是否能提升模型学习文本中关系和逻辑依赖的能力？
• RQ3 去干扰排名目标能否增强模型对正确实体与合理替代项的区分能力？
• RQ4 与基于检索或三元组微调的方法相比，该方法在效率和泛化能力方面表现如何？
• RQ5 KG引导的预训练在多大程度上提升了问答和知识库补全等下游任务的性能？

主要发现

• 所提模型在五个基准数据集上实现了最先进或具有竞争力的性能，涵盖问答和知识库补全任务。
• KG引导的实体掩码方案在训练效率和表示质量方面优于随机实体掩码、随机跨度掩码和全词掩码。
• 去干扰排名目标显著提升了模型区分正确实体与合理负样本的能力。
• 由于从自由文本中学习而非固定KG三元组，该方法的泛化能力优于三元组微调方法。
• 实验表明，模型在预训练阶段受益于KG引导，且在推理阶段无需检索或链接。
• 消融研究证实，实体掩码策略和去干扰排名目标均对性能提升有显著贡献。