[論文レビュー] Multi-modal Contrastive Representation Learning for Entity Alignment

Zhenxi Lin, Ziheng Zhang+4 more|arXiv (Cornell University)|Sep 2, 2022

Multimodal Machine Learning Applications被引用数 25

ひとこと要約

MCLEA は intra-modal および inter-modal コントラスト学習を用いてエンティティアライメントのためのジョイント多模態埋め込みを生成し、 supervised および unsupervised 設定の下で最先端の結果を達成する。

ABSTRACT

Multi-modal entity alignment aims to identify equivalent entities between two different multi-modal knowledge graphs, which consist of structural triples and images associated with entities. Most previous works focus on how to utilize and encode information from different modalities, while it is not trivial to leverage multi-modal knowledge in entity alignment because of the modality heterogeneity. In this paper, we propose MCLEA, a Multi-modal Contrastive Learning based Entity Alignment model, to obtain effective joint representations for multi-modal entity alignment. Different from previous works, MCLEA considers task-oriented modality and models the inter-modal relationships for each entity representation. In particular, MCLEA firstly learns multiple individual representations from multiple modalities, and then performs contrastive learning to jointly model intra-modal and inter-modal interactions. Extensive experimental results show that MCLEA outperforms state-of-the-art baselines on public datasets under both supervised and unsupervised settings.

研究の動機と目的

• モチベーションは多模態エンティティアライメント（EA）を推進し、モダリティ間でタスク指向の結合表現を学ぶことによりアライメントを改善する。
• MCLEA を提案し、モダリティ特有の埋め込みを学習し、コントラスト目的でそれらを統合する。
• モーダリティ内の動態とモーダリティ間の動態を捉えるために、モーダル内コントラスト損失とモーダル間整列損失を導入する。
• 監視下および教師なし設定の双方で、バイリンガルおよびクロス-KG EA ベンチマークにおける最先端性能を示す。

提案手法

• 隣接構造、関係、属性、名前、画像に対するモダリティ特有のエンコーダを構築する。
• モダリティ間の加重アテンション機構を介して、単一モダリティ埋め込みをジョイントの多模態表現に統合する。
• 各モダリティ内で整列済みと非整列のエンティティを区別するために、モーダル内コントラスト損失を適用する。
• 単一モダリティとジョイント埋め込み間のギャップを縮小し、モーダル間相互作用をモデル化するためにモダリティ間整列損失を適用する。
• マルチタスク目的関数において、タスク依存の不確実性を用いて複数の損失を自動的に重み付けする。
• 学習のための反復的シード拡張を伴い、監視付きおよび非監視設定の下で MCLEA を評価する。

実験結果

リサーチクエスチョン

• RQ1 MCLEA は、識別性の高いモーダリティ内表現を学習し、モーダリティ間の相互作用をモデル化することによって、マルチモーダルエンティティアライメントを改善できるか。
• RQ2 モーダリティ内コントラスト学習（ICL）とモーダリティ間整列損失（IAL）は、言語間およびクロス-KG 設定における EA の性能にどのような影響を与えるか。
• RQ3 各モダリティ（構造、関係、属性、名前、画像）が EA の性能に与える影響はどれくらいか。
• RQ4 MCLEA は教師なしの状況や異なる量のシードアライメントの下でも高い性能を維持するか。

主な発見

• MCLEA はバイリンガルおよびクロス-KG データセット全体で一貫して最先端の結果を達成する。
• MCLEA はベースラインを顕著に上回り、クロス-KG タスクで限られたシードでも大きな利得を示す。
• 名前埋め込みと視覚的特徴の含有は性能を向上させ、アブレーションによりモダリティを削除すると有意な低下が示される。
• ICL および IAL は、識別性の高い表現を学習しモダリティ間のギャップを埋めるために不可欠であることが、アブレーション研究で示されている。
• 教師なしの MCLEA バリアント（MCLEA-V、MCLEA-N）は強力なベースラインを上回り、シード生成に依存して監視ありの性能に近づく。
• 反復的シード拡張と学習された損失重み付けは、安定したトレーニングと改善された結果に寄与する。