[论文解读] KERMIT -- A Transformer-Based Approach for Knowledge Graph Matching

Sven Hertling, Jan Portisch+1 more|arXiv (Cornell University)|Apr 29, 2022

Advanced Graph Neural Networks被引用 5

一句话总结

KERMIT 是一种可扩展的知识图谱匹配系统，结合了用于高效候选生成的双编码器（SBERT）和用于高精度重排序的微调交叉编码器。通过使用高精度匹配器在需要时生成训练正样本，即使在没有参考对齐的情况下，该系统在基准数据集上仍能达到高达 0.892 的 F1 分数，表现出色。

ABSTRACT

One of the strongest signals for automated matching of knowledge graphs and ontologies are textual concept descriptions. With the rise of transformer-based language models, text comparison based on meaning (rather than lexical features) is available to researchers. However, performing pairwise comparisons of all textual descriptions of concepts in two knowledge graphs is expensive and scales quadratically (or even worse if concepts have more than one description). To overcome this problem, we follow a two-step approach: we first generate matching candidates using a pre-trained sentence transformer (so called bi-encoder). In a second step, we use fine-tuned transformer cross-encoders to generate the best candidates. We evaluate our approach on multiple datasets and show that it is feasible and produces competitive results.

研究动机与目标

• 解决传统基于字符串的阻塞方法在知识图谱匹配中面临的可扩展性和召回率限制问题。
• 通过使用预训练 Transformer 模型生成的上下文嵌入，实现有效的本体与知识图谱匹配。
• 通过引入高精度匹配器生成正样本，减少对参考对齐的依赖。
• 通过结合双编码器候选生成与交叉编码器重排序的两阶段流程，提升匹配准确性。
• 在多样化、大规模数据集上评估系统，以证明其在面对最先进 OAEI 系统时的鲁棒性与竞争力。

提出的方法

• 使用预训练的句子转换器（SBERT）作为双编码器，通过计算概念描述之间的语义相似度，生成初始候选匹配。
• 当无参考对齐可用时，应用高精度匹配器（如精确字符串匹配或基于规则的逻辑）生成正样本训练数据。
• 从参考对齐中采样，创建平衡的正负样本对，用于交叉编码器的微调。
• 在生成的正负样本对上微调基于 Transformer 的交叉编码器，以区分真实匹配与假阳性。
• 使用微调后的交叉编码器对双编码器生成的 top-k 候选进行重排序，为每个概念选择得分最高的对应项。
• 应用基于逻辑的对齐修复步骤，通过解决最终输出中的不一致性，进一步提升精度。

实验结果

研究问题

• RQ1 基于双编码器的方法是否能在保持高召回率的同时，优于传统的基于字符串的阻塞方法？
• RQ2 在无参考对齐的情况下，高精度匹配器在生成正样本训练数据方面的有效性如何？
• RQ3 与零样本 SBERT 推理相比，微调交叉编码器在多大程度上提升了匹配准确性？
• RQ4 两阶段流程（双编码器 + 交叉编码器）是否在标准 OAEI 基准测试中实现了具有竞争力的性能？
• RQ5 该系统是否能在多样化领域（包括背景知识有限的领域）中保持高精度与 F1 分数？

主要发现

• 在使用参考采样的 BERT 交叉编码器时，KERMIT 在小鼠-人类解剖学赛道上实现了 0.892 的 F1 分数，优于许多现有的 OAEI 系统。
• 在 fma-nci 数据集上，BERT 交叉编码器在参考采样下达到 0.889 的 F1 分数，而 ALBERT 模型在使用高精度匹配器时达到 0.899 的 F1 分数，显示出在无参考数据情况下的强劲表现。
• 在无监督设置下，使用高精度匹配器的变体在 fma-nci 和 anomed-nci 上的表现优于参考采样模型，可能归因于更高的正样本密度。
• 在使用高精度匹配器时，ROBERTA 模型在解剖学赛道上实现了最高的总体 F1 分数 0.892，展示了其强大的零样本性能。
• 在 fma-snomed 赛道上，经过参考训练的 ROBERTA 模型达到了 0.823 的 F1 分数，接近于使用领域特定知识的 2021 年顶尖系统 AML 的性能。
• 即使在参考数据极少的情况下，系统仍能保持高精度（例如，ALBERT 在 fma-nci 上的精度超过 0.97），表明其在低资源设置下的强鲁棒性。