[论文解读] DKPLM: Decomposable Knowledge-enhanced Pre-trained Language Model for Natural Language Understanding

Taolin Zhang, Chengyu Wang+5 more|arXiv (Cornell University)|Dec 2, 2021

Topic Modeling被引用 13

一句话总结

DKPLM 是一种知识增强的预训练语言模型，它将知识注入过程分解为仅预训练阶段，避免了运行时的知识编码器。它通过长尾实体检测、伪标记表示和关系知识解码，高效地注入知识，在零样本探测和知识感知任务上实现了最先进性能，且推理速度优于以往的 KEPLM 模型。

ABSTRACT

Knowledge-Enhanced Pre-trained Language Models (KEPLMs) are pre-trained models with relation triples injecting from knowledge graphs to improve language understanding abilities. To guarantee effective knowledge injection, previous studies integrate models with knowledge encoders for representing knowledge retrieved from knowledge graphs. The operations for knowledge retrieval and encoding bring significant computational burdens, restricting the usage of such models in real-world applications that require high inference speed. In this paper, we propose a novel KEPLM named DKPLM that Decomposes Knowledge injection process of the Pre-trained Language Models in pre-training, fine-tuning and inference stages, which facilitates the applications of KEPLMs in real-world scenarios. Specifically, we first detect knowledge-aware long-tail entities as the target for knowledge injection, enhancing the KEPLMs' semantic understanding abilities and avoiding injecting redundant information. The embeddings of long-tail entities are replaced by "pseudo token representations" formed by relevant knowledge triples. We further design the relational knowledge decoding task for pre-training to force the models to truly understand the injected knowledge by relation triple reconstruction. Experiments show that our model outperforms other KEPLMs significantly over zero-shot knowledge probing tasks and multiple knowledge-aware language understanding tasks. We further show that DKPLM has a higher inference speed than other competing models due to the decomposing mechanism.

研究动机与目标

• 解决现有 KEPLM 模型在微调和推理过程中知识编码器带来的高计算成本问题。
• 通过仅聚焦于知识感知的长尾实体，减少冗余的知识注入。
• 通过将知识注入与下游任务解耦，实现在推理阶段的高效与高速。
• 通过关系解码预训练任务，提升模型对注入知识的理解能力。
• 在不增加推理阶段模型复杂度的前提下，实现在知识探测和下游自然语言理解任务上的最先进性能。

提出的方法

• 基于语料频率、知识图谱邻域大小和语义重要性，检测长尾实体，以优先排序知识注入。
• 使用共享 PLM 编码器从知识三元组中派生出的‘伪标记表示’，替换检测到的长尾实体的嵌入表示。
• 引入一种关系知识解码预训练任务，通过一个实体和一个关系谓词来重建实体标记。
• 仅在预训练阶段注入知识，从而在微调和推理阶段无需知识编码器。
• 使用共享的 PLM 编码器同时处理上下文和知识表示，最大限度减少额外参数。
• 采用双重知识注入机制：特定于实体的知识注入和与关系相关的重建。

实验结果

研究问题

• RQ1 能否将知识注入与推理和微调阶段解耦，以提升推理速度？
• RQ2 聚焦于长尾实体的知识注入是否能提升模型性能并减少冗余？
• RQ3 关系知识解码任务是否能有效强化模型对注入知识的理解？
• RQ4 能否在仅增加极少参数且无需运行时知识编码器的情况下，实现知识增强模型的最先进性能？
• RQ5 DKPLM 在零样本探测和下游知识感知任务上与强基线 KEPLM 模型相比表现如何？

主要发现

• 与最先进模型相比，DKPLM 在四个 LAMA 零样本知识探测数据集上的平均 top-1 准确率提升了 +1.57%。
• 在 TACRED 关系抽取基准上，DKPLM 达到 73.07% 的 F1 分数，优于所有基线模型，包括 KnowBERT 和 ERNIE-BERT。
• DKPLM 的推理时间（1.61 秒）与 BERT（0.97 秒）和 RoBERTa（1.55 秒）相近，显著快于 KEPLM 模型如 KEPLER（1.86 秒）。
• 消融实验表明，若移除伪标记嵌入机制，性能显著下降，证实其在知识注入中的关键作用。
• 仅对长尾实体注入知识的效果优于对高频实体或所有实体进行注入，且在注入实体数量减少时仍能取得最优性能。
• 即使注入的知识三元组数量较少，模型仍保持强劲性能，表明质量优于数量能提升模型鲁棒性。