[论文解读] MEAformer: Multi-modal Entity Alignment Transformer for Meta Modality Hybrid

Zhuo Chen, Jiaoyan Chen+9 more|arXiv (Cornell University)|Dec 29, 2022

Advanced Graph Neural Networks被引用 5

一句话总结

MEAformer 提出了一种基于元学习的 Transformer 架构，采用动态、实体级别的模态融合方法，用于多模态实体对齐，通过自适应预测跨模态权重，实现了在监督、无监督、迭代和低资源设置下的最先进性能，兼具高效率、可解释性以及对模糊图像等噪声模态的鲁棒性。

ABSTRACT

Multi-modal entity alignment (MMEA) aims to discover identical entities across different knowledge graphs (KGs) whose entities are associated with relevant images. However, current MMEA algorithms rely on KG-level modality fusion strategies for multi-modal entity representation, which ignores the variations of modality preferences of different entities, thus compromising robustness against noise in modalities such as blurry images and relations. This paper introduces MEAformer, a multi-modal entity alignment transformer approach for meta modality hybrid, which dynamically predicts the mutual correlation coefficients among modalities for more fine-grained entity-level modality fusion and alignment. Experimental results demonstrate that our model not only achieves SOTA performance in multiple training scenarios, including supervised, unsupervised, iterative, and low-resource settings, but also has a limited number of parameters, efficient runtime, and interpretability. Our code is available at https://github.com/zjukg/MEAformer.

研究动机与目标

• 为解决现有 MMEA 方法使用静态、知识图谱级别的模态融合所存在的局限，此类方法无法考虑实体特定的模态偏好，且对噪声模态敏感。
• 开发一种更具适应性和鲁棒性的 MMEA 框架，能够基于内在模态偏好和数据质量，在实体级别动态调整模态权重。
• 通过模态感知的硬实体重训和对比学习，提升模型对噪声或缺失模态（尤其是视觉数据）的鲁棒性。
• 在参数量极少且推理高效的前提下实现高性能，从而支持在低资源和真实世界场景中的实际部署。

提出的方法

• 引入一种动态跨模态加权（DCMW）模块，通过浅层交叉注意力网络学习实体特定的模态相关系数。
• 采用元学习范式，预测元模态权重，以根据实体级别的上下文和模态可靠性来校正模态表示。
• 应用模态自适应的对比学习目标，利用有限的预对齐实体解耦模态特定特征。
• 采用模态感知的硬实体重训策略，对模糊或噪声样本进行再训练，提升对模糊或不一致视觉输入的鲁棒性。
• 将视觉、属性、关系和图模态整合到统一的基于 Transformer 的编码器中，并在实体级别实现可学习的模态融合。
• 在 Transformer 内部利用多头注意力机制聚合多模态表示，同时保留模态特定的语义信息。

实验结果

研究问题

• RQ1 如何通过根据个体实体特征而非全局知识图谱级别的权重，自适应调整模态融合策略，来提升多模态实体对齐性能？
• RQ2 动态、实体级别的模态加权在多大程度上能增强对模糊图像或关系不完整等噪声或缺失模态的鲁棒性？
• RQ3 基于元学习的模态权重预测方法是否能在包括无监督和低资源设置在内的多样化训练环境下提升对齐性能？
• RQ4 所提出的模态感知硬实体重训策略如何提升模型在模糊或视觉噪声较大的实体上的泛化能力？
• RQ5 不同实体类型中模态偏好的模式如何演变？这些模式能否被可学习的动态融合机制有效捕捉？

主要发现

• MEAformer 在所有评估的训练场景中均达到最先进性能，包括监督、无监督、迭代和低资源设置。
• 由于采用动态模态加权和对比学习，该模型对模糊视觉输入（如模糊或模糊的图像）表现出强大的鲁棒性。
• 与基线模型（如 EVA）相比，实体间平均模态权重分布更加均匀，表明模态利用更加平衡。
• 对图模态偏好较高的实体（如足球运动员、星座、瑞士市镇）通常具有更高的节点度和更简单、非分层的关系结构。
• 模型的元模态权重表现出强可解释性，模态依赖模式清晰明确（例如，运动员依赖视觉和图模态，政治人物依赖关系模态）。
• MEAformer 以极少的参数量和高效的运行时间实现高性能，适用于实际部署。