[论文解读] Editing Language Model-based Knowledge Graph Embeddings

Siyuan Cheng, Ningyu Zhang+4 more|arXiv (Cornell University)|Jan 25, 2023

Topic Modeling被引用 6

一句话总结

本文提出了一项新颖的任务：对基于语言模型的知识图谱嵌入（KGE）进行编辑，以实现在无需完整微调的情况下高效、数据高效地更新。提出KGEditor方法，通过在超网络中使用参数化层来编辑或添加事实，实现高知识可靠性与局部性，且在E-FB15k237和A-WN18RR基准数据集上性能下降最小。

ABSTRACT

Recently decades have witnessed the empirical success of framing Knowledge Graph (KG) embeddings via language models. However, language model-based KG embeddings are usually deployed as static artifacts, making them difficult to modify post-deployment without re-training after deployment. To address this issue, we propose a new task of editing language model-based KG embeddings in this paper. This task is designed to facilitate rapid, data-efficient updates to KG embeddings without compromising the performance of other aspects. We build four new datasets: E-FB15k237, A-FB15k237, E-WN18RR, and A-WN18RR, and evaluate several knowledge editing baselines demonstrating the limited ability of previous models to handle the proposed challenging task. We further propose a simple yet strong baseline dubbed KGEditor, which utilizes additional parametric layers of the hypernetwork to edit/add facts. Our comprehensive experimental results reveal that KGEditor excels in updating specific facts without impacting the overall performance, even when faced with limited training resources. Code and datasets are available in https://github.com/zjunlp/PromptKG/tree/main/deltaKG.

研究动机与目标

• 解决在部署后对静态、预训练的基于语言模型的KGE进行更新时，无需完整微调的挑战。
• 实现快速、数据高效的更新，以修正错误事实或在KGE中添加新知识。
• 确保编辑特定事实时不会降低对先前学习事实的性能（知识局部性）。
• 通过创建四个新数据集E-FB15k237、A-FB15k237、E-WN18RR、A-WN18RR，建立KGE编辑的新基准。
• 在新任务上评估并比较现有编辑方法，以展示其在KGE编辑中的局限性。

提出的方法

• 提出两项新任务：EDIT（修正错误事实）和ADD（添加新事实）用于KGE。
• 设计KGEditor，一种简单但有效的基线方法，通过超网络注入可学习的参数化层，以在KGE模型的前馈网络（FFN）中编辑知识。
• 采用基于提示的KGE模型（PT-KGE）作为基础架构，以提升可编辑性与性能。
• 仅在目标事实上训练KGEditor，以最小化参数更新并保持效率。
• 将知识编辑作为无需微调、参数高效的更新机制，专注于FFN中的特定知识神经元。
• 使用Succ@1和RK@3等指标评估性能，以衡量知识可靠性与局部性。

实验结果

研究问题

• RQ1 现有知识编辑方法能否在不损害无关事实性能的前提下，有效更新基于语言模型的KGE？
• RQ2 编辑数量如何影响KGE编辑方法的可靠性和局部性？
• RQ3 像KGEditor这样的参数高效方法能否在编辑KGE中特定事实时保持高性能？
• RQ4 不同KGE初始化方法（如基于提示的与微调的）如何影响编辑性能？
• RQ5 在处理KGE中的多对多关系时，编辑技术在在多大程度上能保持知识局部性？

主要发现

• 现有方法如KE、MEND和CALINET在编辑KGE时效果有限，且在无关事实上性能显著下降。
• KGEditor在知识可靠性和局部性方面优于所有基线方法，在多达32次编辑时仍保持稳定性能。
• KGEditor在E-FB15k237上的Succ@1分数在不同编辑数量下保持稳定在约0.85，而MEND在超过8次编辑后分数显著下降。
• KGEditor和KE通过使用基于FFN的参数编辑，保持了知识局部性，而MEND因编辑间干扰而表现不佳。
• 基于提示的KGE模型（PT-KGE）在编辑任务中优于微调的KGE（FT-KGE），表明其具有更好的可编辑性与编辑目标对齐性。
• 可视化结果证实，KGEditor在编辑后能成功将预测结果移向正确实体（黄金标签），同时保持其他实体的相对位置不变。