[论文解读] Cross-lingual Entity Alignment with Adversarial Kernel Embedding and Adversarial Knowledge Translation

Gong Zhang, Yang Zhou+3 more|arXiv (Cornell University)|Apr 16, 2021

Advanced Graph Neural Networks参考文献 34被引用 5

一句话总结

本文提出DAEA，一种用于跨语言实体对齐的双重对抗学习框架，通过使用对抗性核嵌入在共享空间中对齐异构知识图谱，并通过在随机游走上进行对抗性知识迁移以利用长程上下文信息，解决了特征不一致和序列上下文感知不足的问题。DAEA在真实世界数据集上显著优于13种最先进方法，在多个基准测试中达到最先进性能。

ABSTRACT

Cross-lingual entity alignment, which aims to precisely connect the same entities in different monolingual knowledge bases (KBs) together, often suffers challenges from feature inconsistency to sequence context unawareness. This paper presents a dual adversarial learning framework for cross-lingual entity alignment, DAEA, with two original contributions. First, in order to address the structural and attribute feature inconsistency between entities in two knowledge graphs (KGs), an adversarial kernel embedding technique is proposed to extract graph-invariant information in an unsupervised manner, and project two KGs into the common embedding space. Second, in order to further improve successful rate of entity alignment, we propose to produce multiple random walks through each entity to be aligned and mask these entities in random walks. With the guidance of known aligned entities in the context of multiple random walks, an adversarial knowledge translation model is developed to fill and translate masked entities in pairwise random walks from two KGs. Extensive experiments performed on real-world datasets show that DAEA can well solve the feature inconsistency and sequence context unawareness issues and significantly outperforms thirteen state-of-the-art entity alignment methods.

研究动机与目标

• 为解决由于不同语言中结构和属性异质性导致的单语知识图谱之间的特征不一致问题。
• 通过利用多条随机游走捕捉长距离依赖关系，克服实体对齐中的序列上下文感知不足问题。
• 开发一种无监督方法，在初始嵌入学习阶段无需已知对齐实体即可对齐知识图谱。
• 通过利用已知对齐实体在随机游走序列中的上下文指导，提升对齐准确性。
• 将多方面信息（实体、关系、属性、名称）整合为统一且鲁棒的表示，以支持跨语言对齐。

提出的方法

• 利用图卷积网络（GCNs）学习统一的潜在表示，整合实体、关系、属性和名称嵌入。
• 采用对抗性核嵌入，通过有界函数下的最大均值差异（MMD）将两个知识图谱投影到共同的再生核希尔伯特空间（RKHS）。
• 为每个实体生成多个10跳的随机游走，以捕捉长序列邻域上下文并突出对齐实体。
• 在随机游走中掩码待对齐的实体，并利用未掩码的已知对齐实体作为上下文，指导实体预测。
• 开发对抗性知识迁移模型，用于填充并翻译源和目标知识图谱中成对随机游走的掩码实体。
• 聚合来自多样化随机游走的多个上下文感知表示，形成更全面的实体嵌入以提升对齐效果。

实验结果

研究问题

• RQ1 对抗性核嵌入能否在无监督条件下有效对齐具有不一致结构和属性特征的异构知识图谱？
• RQ2 当局部邻域信息不足时，来自多条随机游走的长序列上下文能否提升实体对齐的准确性？
• RQ3 在成对随机游走上进行对抗性知识迁移，能否有效利用已知对齐实体作为上下文，实现对掩码实体的预测与翻译？
• RQ4 多方面信息（实体、关系、属性、名称）的整合如何影响低资源与高资源语言对之间的对齐性能？
• RQ5 在不同语言覆盖范围和语法差异下，DAEA在跨语言实体对齐任务中相较于现有最先进方法的性能提升程度如何？

主要发现

• DAEA在DBP15K（Zh-En）上取得最高的H@1得分为0.189，在（Ja-En）上为0.170，在（Fr-En）上为0.197，优于全部13种SOTA方法。
• 在知识补全任务中，DAEA在DBP15K（Fr-En）上取得最佳MRR为0.362，在（Ja-En）上为0.322，在（Zh-En）上为0.314，表现出卓越的对齐质量。
• 在所有三个真实世界数据集上，DAEA在所有评估指标（H@1、H@10、MRR）上均持续优于基线方法，证实了其在不同语言对上的鲁棒性。
• 消融研究显示，对抗性核嵌入和对抗性知识迁移均对性能有显著贡献，其中后者显著增强了上下文感知能力。
• 案例研究证实，DAEA通过利用高资源语言游走中的上下文信息，成功对齐了具有不平衡邻域的实体。
• 与单路径方法相比，聚合多条随机游走的表示能获得更好的对齐效果，H@1和MRR指标的一致性提升验证了这一点。