[论文解读] Cross-lingual Entity Alignment via Joint Attribute-Preserving Embedding

Zequn Sun, Wei Hu+1 more|arXiv (Cornell University)|Aug 16, 2017

Topic Modeling参考文献 22被引用 38

一句话总结

本文提出了一种联合属性保持嵌入模型，用于跨语言实体对齐，该模型在不依赖机器翻译的前提下，联合学习多语言知识库中的结构与属性相关性。通过将关系三元组和属性三元组整合到统一的向量空间中，该方法显著优于当前最先进的基于嵌入的对齐方法，并可与基于翻译的方法互补，在真实世界数据集上取得了最先进性能。

ABSTRACT

Entity alignment is the task of finding entities in two knowledge bases (KBs) that represent the same real-world object. When facing KBs in different natural languages, conventional cross-lingual entity alignment methods rely on machine translation to eliminate the language barriers. These approaches often suffer from the uneven quality of translations between languages. While recent embedding-based techniques encode entities and relationships in KBs and do not need machine translation for cross-lingual entity alignment, a significant number of attributes remain largely unexplored. In this paper, we propose a joint attribute-preserving embedding model for cross-lingual entity alignment. It jointly embeds the structures of two KBs into a unified vector space and further refines it by leveraging attribute correlations in the KBs. Our experimental results on real-world datasets show that this approach significantly outperforms the state-of-the-art embedding approaches for cross-lingual entity alignment and could be complemented with methods based on machine translation.

研究动机与目标

• 解决现有跨语言实体对齐方法严重依赖机器翻译所带来的翻译质量波动问题。
• 探索并利用在知识库嵌入模型中常被忽视的属性三元组，通过在嵌入空间中保持其相关性。
• 通过联合嵌入结构关系与属性共现模式，将跨语言知识库嵌入到同一向量空间，以提高对齐准确率。
• 开发一种在低资源或低翻译质量环境下仍具鲁棒性的方法，通过最小化对自然语言标签的依赖。
• 在大规模数据集上评估模型的可扩展性及其与基于翻译方法的互补性。

提出的方法

• 该方法采用两个模块：结构嵌入（SE）用于建模关系三元组，并利用现有的跨语言实体与属性映射作为桥梁来对齐知识库。
• 属性嵌入（AE）捕捉实体间属性共现模式，通过共享属性特征的聚类来保留语义相关性。
• SE与AE模块联合优化，将两个知识库的所有实体嵌入到一个共享的d维向量空间ℝ^d中。
• 通过在共享嵌入空间中检索最近邻来执行实体对齐，预期对齐的实体在空间中彼此接近。
• 模型使用联合损失函数，结合基于结构和基于属性的正则化，以同时保留关系级与属性级语义。
• 该方法设计为可扩展且鲁棒，消融实验验证了属性信息与联合学习的贡献。

实验结果

研究问题

• RQ1 联合建模结构关系与属性相关性是否能超越仅基于结构的模型，提升跨语言实体对齐性能？
• RQ2 在机器翻译失效的低资源或低翻译质量环境下，该方法的有效性如何？
• RQ3 与仅使用关系三元组相比，属性三元组在对齐性能中的贡献程度如何？
• RQ4 所提出的嵌入模型能否与基于机器翻译的方法有效结合，实现相互增益？
• RQ5 该联合属性保持嵌入模型在大规模多语言知识库上的可扩展性如何？

主要发现

• 在DBP15K数据集上，所提方法（JAPE）在ZH→EN任务中达到73.09% Hits@1，在JA→EN任务中达到82.84%，优于所有基线嵌入方法。
• JAPE与机器翻译结合后，在ZH→EN任务中达到96.61% Hits@50，显著优于任一方法单独使用的结果。
• 在DBP100K数据集上，JAPE在FR→EN任务中保持强劲表现，Hits@10达到53.64%，优于MTransE（44.84%）和JE（22.98%）。
• 模型对稀疏实体和多映射关系表现出鲁棒性，即使在更大规模数据集上性能下降也较为温和。
• 消融实验证明属性嵌入对对齐有显著贡献，移除属性建模后性能出现明显下降。
• 该方法与机器翻译方法表现出强互补性：尽管翻译在Top-1准确率上更优，但JAPE在Hits@10和Hits@50上表现更佳，表明其在长尾对齐方面更具优势。