[论文解读] LambdaKG: A Library for Pre-trained Language Model-Based Knowledge Graph Embeddings

Xin Xie, Zhoubo Li+3 more|arXiv (Cornell University)|Oct 1, 2022

Topic Modeling被引用 5

一句话总结

LambdaKG 是一个统一的开源库，用于基于预训练语言模型（PLM）的知识图谱嵌入（KGE），支持跨知识图谱补全、问答、推荐和知识探查等多样化任务的判别式与生成式方法。它集成了 BERT、BART、T5、GPT-3 和 ChatGPT，提供模块化、可扩展的框架，具备统一的训练、评估与优化工具，在 FB15k-237 和 ATOMIC2020 等基准测试中达到最先进性能。

ABSTRACT

Knowledge Graphs (KGs) often have two characteristics: heterogeneous graph structure and text-rich entity/relation information. Text-based KG embeddings can represent entities by encoding descriptions with pre-trained language models, but no open-sourced library is specifically designed for KGs with PLMs at present. In this paper, we present LambdaKG, a library for KGE that equips with many pre-trained language models (e.g., BERT, BART, T5, GPT-3), and supports various tasks (e.g., knowledge graph completion, question answering, recommendation, and knowledge probing). LambdaKG is publicly open-sourced at https://github.com/zjunlp/PromptKG/tree/main/lambdaKG, with a demo video at http://deepke.zjukg.cn/lambdakg.mp4 and long-term maintenance.

研究动机与目标

• 为解决缺乏专门针对基于预训练语言模型（PLM）的知识图谱嵌入（KGE）的综合性开源库的问题。
• 将多种基于 PLM 的 KGE 方法——包括判别式与生成式方法——统一到一个可扩展的框架中。
• 支持广泛的下游任务，包括知识图谱补全、问答、推荐与知识探查。
• 提供模块化、可维护且可扩展的工具包，具备标准化的训练、评估与优化组件，以支持可复现的研究。
• 通过使用 GPT-3 和 ChatGPT 等最先进 PLM，实现对新型 KGE 方法的严格基准测试与对比。

提出的方法

• LambdaKG 采用统一的知识图谱编码器，将知识图谱三元组转换为自然语言提示，使 PLM 能够理解结构化与文本信息。
• 支持两种主要范式：判别式模型（例如，微调 BERT 用于链接预测）与生成式模型（例如，使用 T5 或 GPT-3 生成答案）。
• 该库包含模块化的 Trainer 与 Evaluator 类，支持自定义训练步骤、损失计算与早停机制，实现灵活的训练流水线。
• Metric 类实现了标准评估指标，如 hits@k（k=1,3,10）与平均秩（MR），生成任务则使用 BLEU-1。
• “技巧合集”模块集成了标签平滑、指数移动平均、top-k 负样本采样与早停等技术，以提升训练稳定性和性能。
• 通过可插拔的实体嵌入模块增强实体表示，提升知识探查任务中的事实召回率。

实验结果

研究问题

• RQ1 一个统一的开源库能否有效支持多种下游任务中的多样化基于 PLM 的 KGE 方法？
• RQ2 小型 PLM（如 BERT、T5）与大型语言模型（如 GPT-3、ChatGPT）在知识图谱补全任务中的性能表现如何比较？
• RQ3 生成式模型（如 GPT-3 与 ChatGPT）在零样本知识图谱补全与问答任务中，相较于判别式模型的优越程度如何？
• RQ4 将基于 PLM 的 KGE 与外部知识结合，是否能提升知识探查任务中的事实召回率？
• RQ5 模型性能在不同关系类型之间如何变化，特别是在 1-1 与 1-n 链接预测场景中？

主要发现

• LambdaKG 在 FB15k-237 上表现具有竞争力，其中 KGT5 在知识图谱补全任务中优于其他模型。
• ChatGPT 在 FB15k-237 上的表现优于 text-davinci-003，尤其在 1-1 链接预测中 hits@1 分数更高。
• 在 1-1 与 1-n 关系场景中性能显著下降，表明模型在处理多目标预测时因歧义与推理能力限制面临挑战。
• 在 ATOMIC2020 常识知识图谱补全基准上，GPT-3 表现有限，而 ChatGPT 生成了更具上下文相关性的回答，但准确性较低，经人工评分确认。
• 集成可插拔的实体嵌入模块可提升 LAMA 探查任务中的事实知识召回率，BERT 与 RoBERTa 均表现出可测量的增益。
• LambdaKG 通过利用 PLM 生成的电影嵌入，在 ML-20m 数据集上实现了高效的序列推荐，性能优于相同设置下的 BERT4Rec。