[論文レビュー] MEAformer: Multi-modal Entity Alignment Transformer for Meta Modality Hybrid

Zhuo Chen, Jiaoyan Chen+9 more|arXiv (Cornell University)|Dec 29, 2022

Advanced Graph Neural Networks被引用数 5

ひとこと要約

MEAformer は、メタラーニングに基づく Transformer アーキテクチャを用いて、エントリティレベルでの動的で、モダリティ統合を実現する多モーダルエントリティアライメントのためのアプローチを提案する。この手法は、クロスモダリティ重みを能動的に予測することで、ぼやけた画像などのノイジーなモダリティに対しても、高い効率性、解釈可能性、耐性を示しながら、教師あり、教師なし、反復的、低リソース設定のあらゆる状況で最先端の性能を達成する。

ABSTRACT

Multi-modal entity alignment (MMEA) aims to discover identical entities across different knowledge graphs (KGs) whose entities are associated with relevant images. However, current MMEA algorithms rely on KG-level modality fusion strategies for multi-modal entity representation, which ignores the variations of modality preferences of different entities, thus compromising robustness against noise in modalities such as blurry images and relations. This paper introduces MEAformer, a multi-modal entity alignment transformer approach for meta modality hybrid, which dynamically predicts the mutual correlation coefficients among modalities for more fine-grained entity-level modality fusion and alignment. Experimental results demonstrate that our model not only achieves SOTA performance in multiple training scenarios, including supervised, unsupervised, iterative, and low-resource settings, but also has a limited number of parameters, efficient runtime, and interpretability. Our code is available at https://github.com/zjukg/MEAformer.

研究の動機と目的

• 既存の MMEA メソッドが静的で、知識グラフレベルのモダリティ統合を採用しているという制限を解決する。これは、エントリティ固有のモダリティ好みを反映できず、ノイジーなモダリティに対して感受性が強い。
• エントリティレベルでの内在的モダリティ好みとデータ品質に基づき、動的にモダリティ重みを調整できるより適応的で耐性のある MMEA フレームワークを構築する。
• モダリティに適応したハードエントリティリプレイと対照的学習を活用して、視覚的データなどのノイジーまたは欠損したモダリティに対するモデルの耐性を高める。
• 最小限のパラメータ数と効率的な推論を実現し、低リソースおよび実世界の設定における実用的導入を可能にする高い性能を達成する。

提案手法

• 浅いクロスアテンションネットワークを用いて、エントリティ固有の相互モダリティ相関係数を学習する動的クロスモダリティ重み付き（DCMW）モジュールを導入する。
• メタラーニングの枠組みを採用し、エントリティレベルの文脈とモダリティの信頼性に基づいて、メタモダリティ重みを予測し、モダリティ表現を補正する。
• 限定された事前アライメント済みエントリティを用いて、モダリティ固有の特徴を分離するためのモダリティに適応した対照的学習目的を適用する。
• 曇ったまたは曇りの強い視覚入力に対して耐性を高めるために、曇ったまたは一貫性のない例を再訓練するモダリティに適応したハードエントリティリプレイ戦略を採用する。
• 視覚、属性、関係、グラフモダリティを統合された Transformer ベースのエンコーダーに統合し、エントリティレベルでの学習可能なモダリティ統合を実現する。
• Transformer 内のマルチヘッドアテンションメカニズムを活用して、モダリティ固有の意味を保持したまま、マルチモーダル表現を統合する。

実験結果

リサーチクエスチョン

• RQ1 グローバルで知識グラフレベルの重みを適用するのではなく、個々のエントリティの特性に合わせてモダリティ統合戦略を適応させることで、多モーダルエントリティアライメントはどの程度向上できるか？
• RQ2 動的でエントリティレベルのモダリティ重み付けは、ぼやけた画像や不完全な関係などのノイジーまたは欠損したモダリティに対してどの程度耐性を高められるか？
• RQ3 モダリティ重み予測のためのメタラーニングベースのアプローチは、教師ありおよび低リソース設定を含む多様な学習環境において、アライメント性能を向上させられるか？
• RQ4 提案されたモダリティに適応したハードエントリティリプレイ戦略は、曇ったまたは視覚的にノイジーなエントリティにおけるモデルの一般化性能をどの程度向上させるか？
• RQ5 異なるエントリティタイプにおいて、どのようないンタリティのモダリティ好みのパターンが現れ、それを学習可能な動的統合メカニズムが効果的に捉えることができるか？

主な発見

• MEAformer は、教師あり、教師なし、反復的、低リソース設定を含む、すべての評価済み学習シナリオで最先端の性能を達成する。
• 動的モダリティ重み付けと対照的学習のおかげで、ぼやけたまたは曇った画像などのノイジーな視覚入力に対しても強い耐性を示す。
• エントリティ全体における平均的なモダリティ重み分布は、EVA などのベースラインモデルよりも均等であることが示され、モダリティ利用のバランスが取れていることを示している。
• グラフモダリティへの高い好みを示すエントリティ（例：サッカー選手、星座、スイスの自治体）は、高いノード次数と単純で階層的でない関係構造を持つ傾向にある。
• メタモダリティ重みは高い解釈可能性を示しており、明確なモダリティ依存パターン（例：アスリートは視覚とグラフに依存、政治家は関係に依存）が観察される。
• MEAformer は限られたパラメータ数と効率的な実行時間で高い性能を達成しており、実世界での導入に適している。