[论文解读] Lifelong Embedding Learning and Transfer for Growing Knowledge Graphs

Yuanning Cui, Yuxin Wang+5 more|arXiv (Cornell University)|Nov 29, 2022

Advanced Graph Neural Networks被引用 4

一句话总结

本文提出 LKGE，一种终身知识图谱嵌入模型，通过掩码知识图谱自编码器、知识嵌入迁移和正则化技术，实现在动态增长知识图谱上的持续学习。该模型在四种不同增长场景下，在链接预测、正向知识迁移和训练效率方面均达到最先进性能，优于现有基线模型，在以实体为中心、关系为中心、事实为中心及混合型知识图谱增长数据集上表现优异。

ABSTRACT

Existing knowledge graph (KG) embedding models have primarily focused on static KGs. However, real-world KGs do not remain static, but rather evolve and grow in tandem with the development of KG applications. Consequently, new facts and previously unseen entities and relations continually emerge, necessitating an embedding model that can quickly learn and transfer new knowledge through growth. Motivated by this, we delve into an expanding field of KG embedding in this paper, i.e., lifelong KG embedding. We consider knowledge transfer and retention of the learning on growing snapshots of a KG without having to learn embeddings from scratch. The proposed model includes a masked KG autoencoder for embedding learning and update, with an embedding transfer strategy to inject the learned knowledge into the new entity and relation embeddings, and an embedding regularization method to avoid catastrophic forgetting. To investigate the impacts of different aspects of KG growth, we construct four datasets to evaluate the performance of lifelong KG embedding. Experimental results show that the proposed model outperforms the state-of-the-art inductive and lifelong embedding baselines.

研究动机与目标

• 为解决现实世界中动态演化知识图谱中随时间不断涌现新事实、新实体和新关系的持续知识图谱嵌入挑战。
• 实现在无需从头训练的前提下，将先前学习到的嵌入知识高效迁移至新出现的实体和关系上。
• 在增量更新旧实体和关系嵌入过程中，防止灾难性遗忘。
• 在超越以往数据集理想化假设的前提下，评估模型在不同增长模式（以实体为中心、以关系为中心、以事实为中心及混合型）下的性能表现。
• 提升学习效率，同时在多个知识图谱快照中保持高预测准确性。

提出的方法

• 使用掩码知识图谱自编码器通过掩码并预测实体或关系，实现旧节点与新节点之间的局部知识迁移。
• 采用嵌入迁移策略，利用先前快照中的预训练知识初始化新实体和关系的嵌入，加速收敛并稳定嵌入空间。
• 采用嵌入正则化方法，在学习新事实与保留旧知识之间取得平衡，缓解增量更新过程中的灾难性遗忘。
• 在不断增长的知识图谱快照上进行增量训练，仅更新受影响实体的嵌入，其余部分保持不变。
• 通过在时间维度上保持一致的表示，支持正向与反向知识迁移。
• 构建了四个新的基准数据集，用于评估不同增长模式下的模型性能：以实体为中心、以关系为中心、以事实为中心及混合型。

实验结果

研究问题

• RQ1 KG 嵌入模型如何在保持已有知识的前提下，有效学习新事实？
• RQ2 在终身学习设置中，从已有嵌入中迁移知识在多大程度上能提升对新实体和关系的学习效果？
• RQ3 所提出的正则化策略在增量更新旧嵌入时，如何缓解灾难性遗忘？
• RQ4 模型在不同类型的 KG 增长模式（以实体为中心、以关系为中心、以事实为中心及混合型）下的性能表现有何差异？
• RQ5 与微调或重新训练基线相比，终身 KG 嵌入在学习效率与预测准确性之间存在何种权衡？

主要发现

• LKGE 在全部四个数据集上均取得最高的平均倒数排名（MRR），MRR 分数分别为：Entity 数据集 0.227，Relation 数据集 0.367，Fact 数据集 0.372，Hybrid 数据集 0.367，显著优于所有基线模型。
• 模型展现出强大的正向知识迁移（FWT）能力，FWT 分数显著高于竞争对手，尤其在 Relation 和 Hybrid 数据集上（存在模式变化时）表现突出。
• 反向知识迁移（BWT）得到有效保持，LKGE 在所有数据集上均获得正的 BWT 分数，表明旧知识被稳定保留。
• 与重新训练和快照基线相比，训练时间显著减少，LKGE 在后期快照中因嵌入迁移策略而展现出最显著的效率提升。
• 消融实验表明，若移除掩码自编码器或正则化机制，性能将出现显著下降，凸显二者在知识保留与学习稳定性中的关键作用。
• 嵌入迁移策略在 Relation 和 Hybrid 数据集上显著提升性能（存在模式变化时），但在 Entity 数据集上作用较小，因该场景更依赖高可塑性以处理大量新实体。