[论文解读] Combining pre-trained language models and structured knowledge

Pedro Colón-Hernández, Catherine Havasi+3 more|arXiv (Cornell University)|Jan 28, 2021

Topic Modeling参考文献 44被引用 12

一句话总结

本文研究将知识图谱中的结构化知识整合到预训练语言模型中的方法，评估了输入、架构和输出注入技术。研究识别出基于适配器的知识注入以及结合多种方法的混合方法是提升自然语言处理任务中事实一致性和性能的有前景方向。

ABSTRACT

In recent years, transformer-based language models have achieved state of the art performance in various NLP benchmarks. These models are able to extract mostly distributional information with some semantics from unstructured text, however it has proven challenging to integrate structured information, such as knowledge graphs into these models. We examine a variety of approaches to integrate structured knowledge into current language models and determine challenges, and possible opportunities to leverage both structured and unstructured information sources. From our survey, we find that there are still opportunities at exploiting adapter-based injections and that it may be possible to further combine various of the explored approaches into one system.

研究动机与目标

• 考察现有将知识图谱中的结构化知识整合到预训练的基于Transformer的自然语言模型中的方法。
• 识别将非结构化文本表示与知识图谱中刚性、符号化的知识相结合所面临的挑战。
• 评估以输入为中心、以架构为中心和以输出为中心的注入技术的有效性。
• 探索将多种注入策略整合为统一、更高效系统的可能性。
• 识别有前景的研究方向，特别是基于适配器的注入和混合架构，以实现知识与语言建模的更紧密集成。

提出的方法

• 将知识注入技术分类为三类：以输入为中心（修改输入数据或嵌入表示）、以架构为中心（修改模型层）和以输出为中心（修改损失函数或输出）。
• 回顾具体方法，如KALM（将知识图谱三元组注入训练数据）、KnowBERT（基于适配器的注入）以及GCN-XLNet（使用图卷积网络增强上下文表示）。
• 分析混合模型，如Malaviya等人（2020）提出的方法，该方法结合BERT嵌入与GCN表示，并采用编码器-解码器结构完成知识图谱补全。
• 提出未来方法，如后专门化微调的嵌入表示和带有神经记忆的适配器模块，以提升知识检索与融合效果。
• 建议将信号注入技术（如KALM）与基于适配器的方法（如KnowBERT）结合，以增强实体表示的上下文建模能力。
• 探索将实体嵌入与语义信号结合，受LIBERT启发，以一种与Transformer模型兼容的方式丰富输入表示。

实验结果

研究问题

• RQ1 如何在不破坏其上下文表示的前提下，有效将知识图谱中的结构化知识整合到预训练语言模型中？
• RQ2 以输入为中心、以架构为中心和以输出为中心的知识注入技术的相对优势与局限性是什么？
• RQ3 基于适配器的方法是否能够实现高效且有效的知识注入，同时保持最小的参数更新？
• RQ4 在单一系统中结合多种注入策略（如输入+架构+输出）有哪些优势？
• RQ5 如何将神经记忆模块与适配器结合，以提升语言模型中的知识检索与上下文融合能力？

主要发现

• 预训练语言模型编码了一定的事实性和语义知识，但容易产生幻觉，且缺乏对结构化事实的严格强制。
• 知识图谱的整合可提升下游自然语言处理任务中的事实一致性与性能，尤其在问答和知识图谱补全任务中表现显著。
• 基于适配器的注入方法（如KnowBERT中的方法）表现出良好前景，因其参数开销低，且能有效微调知识感知表示。
• 结合图卷积网络与语言模型的混合模型（如GCN-XLNet）通过同时利用结构化与上下文表示，展现出更强的推理能力。
• 将输入信号（如知识图谱三元组）与架构修改（如适配器）结合，可能实现对实体表示更优的上下文建模。
• 仍有潜力开发统一系统，同时利用输入、架构和输出注入技术，实现最优的知识整合。