[论文解读] Attribute-Consistent Knowledge Graph Representation Learning for Multi-Modal Entity Alignment

Qian Li, Shu Guo+5 more|arXiv (Cornell University)|Apr 4, 2023

Advanced Graph Neural Networks被引用 5

一句话总结

该论文提出ACK-MMEA，一种用于多模态实体对齐的新框架，通过多模态属性统一化构建属性一致的知识图谱（ACKG），以解决因属性数量不一致或模态缺失导致的上下文间隙。通过使用合并与生成算子，将每个实体的每种模态标准化为单一统一属性，并结合带有随机丢弃的关联感知图神经网络，该方法实现了鲁棒且一致的表示，相较于基线方法在基准数据集上表现出更优的容错能力和对齐准确率。

ABSTRACT

The multi-modal entity alignment (MMEA) aims to find all equivalent entity pairs between multi-modal knowledge graphs (MMKGs). Rich attributes and neighboring entities are valuable for the alignment task, but existing works ignore contextual gap problems that the aligned entities have different numbers of attributes on specific modality when learning entity representations. In this paper, we propose a novel attribute-consistent knowledge graph representation learning framework for MMEA (ACK-MMEA) to compensate the contextual gaps through incorporating consistent alignment knowledge. Attribute-consistent KGs (ACKGs) are first constructed via multi-modal attribute uniformization with merge and generate operators so that each entity has one and only one uniform feature in each modality. The ACKGs are then fed into a relation-aware graph neural network with random dropouts, to obtain aggregated relation representations and robust entity representations. In order to evaluate the ACK-MMEA facilitated for entity alignment, we specially design a joint alignment loss for both entity and attribute evaluation. Extensive experiments conducted on two benchmark datasets show that our approach achieves excellent performance compared to its competitors.

研究动机与目标

• 解决因等价实体间属性数量不一致或模态缺失导致的多模态实体对齐（MMEA）中的上下文间隙问题。
• 开发一种方法，确保多模态知识图谱（MMKG）中属性表示的一致性，以提升对齐性能。
• 设计一种对属性冗余和缺失具有鲁棒性的表示学习框架，通过属性统一化与丢弃正则化实现。
• 通过结合实体与属性监督的联合对齐损失，评估属性一致性在提升实体对齐效果中的有效性。

提出的方法

• 提出使用合并与生成算子进行多模态属性统一化，以构建属性一致的知识图谱（ACKG），确保每个实体在每种模态下均具有唯一标准化属性。
• 应用基于注意力的合并算子，将多个属性压缩为单一代表性特征，过滤掉噪声或冗余属性。
• 采用生成算子，在缺少属性（如图像或文本）时合成缺失属性，确保实体间的一致性。
• 利用带有随机邻居丢弃的关联感知图神经网络（ConsistGNN），学习鲁棒的实体表示与聚合的关系特征。
• 引入联合对齐损失，联合优化实体对齐与属性一致性，提升整体表示质量。
• 利用邻居差异性损失，通过鼓励非等价实体具有不同表示，提升对齐精度。

实验结果

研究问题

• RQ1 当等价实体具有不同数量的属性或缺少模态时，如何缓解多模态实体对齐中的上下文间隙？
• RQ2 属性统一化在多模态实体对齐中对鲁棒性与准确性的提升程度如何？
• RQ3 带有随机丢弃的关联感知图神经网络能否增强MMEA中实体表示学习的容错性与泛化能力？
• RQ4 联合对齐损失在整合实体与属性级监督以提升对齐性能方面的有效性如何？
• RQ5 在属性删除或模态不完整条件下，属性一致性对模型性能的影响如何？

主要发现

• ACK-MMEA在两个基准数据集上达到最先进性能，在MRR、Hits@1和Hits@10指标上优于现有方法。
• 即使所有属性被删除，模型仍保持强劲性能（MRR下降仅1–5%），得益于丢弃与差异性正则化，展现出卓越的容错能力。
• 当图像属性被移除时，ACK-MMEA仍优于基线方法，证实了属性一致表示在缓解模态不平衡方面的有效性。
• 随着属性间隙增大，模型性能下降更缓慢，表明其对由属性数量差异引起的上下文间隙具有强韧性。
• 在邻居丢弃率为35%时性能最优，证实了随机丢弃在提升鲁棒性方面的有效性。
• 消融实验表明，文本与图像属性均至关重要，且该模型受属性删除影响小于基线，验证了其一致性学习机制的有效性。