[论文解读] EchoEA: Echo Information between Entities and Relations for Entity Alignment

Xueyuan Lin, E Haihong+2 more|arXiv (Cornell University)|Jul 7, 2021

Advanced Graph Neural Networks参考文献 28被引用 4

一句话总结

EchoEA 提出了一种更深的四层自注意力图神经网络编码器 Echo，通过在实体与关系之间传递信息并回响，以增强实体表征，同时引入了属性组合的双向全局过滤策略（ABGS），以生成高质量的半监督训练数据。该方法在三个跨语言知识图谱数据集上实现了平均 Hits@1 为 96% 的性能，显著优于当前最先进的基于 GNN 的方法。

ABSTRACT

Entity alignment (EA) plays an important role in automatically integrating knowledge graphs (KGs) from multiple sources. Recent approaches based on Graph Neural Network (GNN) obtain entity representation from relation information and have achieved promising results. Besides, more and more methods introduce semi-supervision to ask for more labeled training data. However, two challenges still exist in GNN-based EA methods: (1) Deeper GNN Encoder: The GNN encoder of current methods has limited depth (usually 2-layers). (2) Low-quality Bootstrapping: The generated semi-supervised data is of low quality. In this paper, we propose a novel framework, Echo Entity Alignment (EchoEA), which leverages 4-levels self-attention mechanism to spread entity information to relations and echo back to entities. Furthermore, we propose attribute-combined bi-directional global-filtered strategy (ABGS) to improve bootstrapping, reduce false samples and generate high-quality training data. The experimental results on three real-world cross-lingual datasets are stable at around 96\% at hits@1 on average, showing that our approach not only significantly outperforms the state-of-the-art GNN-based methods, but also is universal and transferable for existing EA methods.

研究动机与目标

• 为解决现有浅层 GNN 编码器（通常为 2 层）在实体对齐任务中因过度平滑和感受野有限导致的性能瓶颈。
• 克服半监督实体对齐中因噪声导致的低质量自举问题，即错误的正样本和负样本会降低模型性能。
• 通过更深层次的架构实现实体与关系之间的双向信息流动，增强二者之间的交互。
• 开发一种稳健、通用且可迁移的框架，以同时提升跨语言实体对齐中的表征学习能力和数据效率。

提出的方法

• 在 Echo 编码器中设计四层自注意力机制，将实体信息传播至关系并实现信息回响，使模型深度达到 5 层，超越典型 2 层 GNN 模型。
• 提出属性组合的双向全局过滤策略（ABGS），结合局部与全局对齐信号，对正负自举样本进行过滤与优化。
• 利用属性相似性和值相似性提升初始种子对齐的质量，并引导迭代自举过程。
• 应用全局过滤机制以去除低置信度预测，从而在迭代训练过程中减少错误正例和错误负例。
• 采用对称的消息传递机制，建模实体与关系之间的相互贡献，从而提升表征学习效果。
• 将 Echo 编码器与迭代式半监督循环结合，通过高置信度预测动态扩展训练集。

实验结果

研究问题

• RQ1 相较于典型的 2 层 GNN 模型，采用多级注意力的更深层次 GNN 架构是否能显著提升实体对齐性能？
• RQ2 在自举过程中同时引入正样本与负样本，是否能相比仅使用正样本的方法实现更好的泛化能力并降低噪声？
• RQ3 能否有效结合全局与局部对齐信号，以过滤并提升迭代实体对齐中生成训练数据的质量？
• RQ4 Echo 模型在实体与关系之间实现的双向信息流动，如何影响表征学习与对齐准确率？
• RQ5 与当前最先进的方法相比，ABGS 策略在多大程度上降低了自举训练数据中的假正例与假负例率？

主要发现

• EchoEA 在三个真实世界跨语言知识图谱数据集上实现了平均 Hits@1 约为 96%，显著优于现有基于 GNN 的方法。
• 该模型在 FR_EN 数据集上达到峰值 Hits@1 为 97.91%，展现出在具有挑战性的跨语言对齐任务中的强大性能。
• 与当前最先进的方法 MRAEA 相比，ABGS 策略将假正例率与假负例率均降低了约 50%，表明其生成的自举数据质量更高。
• 即使仅使用 Echo 编码器（不包含 ABGS）时，其性能仍超过 RAGA，证明了该架构设计的有效性。
• 消融实验表明，Echo 模型中的 PAN、CAN 和 EN 组件对性能有显著贡献，其中 PAN 最为关键，其次为 CAN 和 EN。
• EchoEA 中的实体利用率在 100 个训练周期内达到约 95%，表明对生成的自举样本使用高效，并在数据质量和覆盖范围上持续优于 MRAEA。