[論文レビュー] Attribute-Consistent Knowledge Graph Representation Learning for Multi-Modal Entity Alignment

Qian Li, Shu Guo+5 more|arXiv (Cornell University)|Apr 4, 2023

Advanced Graph Neural Networks被引用数 5

ひとこと要約

本稿では、多モーダルエンティティアライメント（MMEA）における文脈的ギャップを解消するために、属性一貫性のある知識グラフ（ACKG）を、多モーダル属性の均一化によって構築する新しいフレームワークACK-MMEAを提案する。1つのエンティティあたりの各モダリティごとに1つの標準化された属性を統一するため、マージおよび生成演算子を用い、関係に配慮したグラフニューラルネットワーク（GNN）にランダムドロップアウトを適用することで、強固で一貫性のある表現を実現し、ベースラインを上回る性能を達成した。この手法は、故障耐性およびアライメント精度の向上を実現した。

ABSTRACT

The multi-modal entity alignment (MMEA) aims to find all equivalent entity pairs between multi-modal knowledge graphs (MMKGs). Rich attributes and neighboring entities are valuable for the alignment task, but existing works ignore contextual gap problems that the aligned entities have different numbers of attributes on specific modality when learning entity representations. In this paper, we propose a novel attribute-consistent knowledge graph representation learning framework for MMEA (ACK-MMEA) to compensate the contextual gaps through incorporating consistent alignment knowledge. Attribute-consistent KGs (ACKGs) are first constructed via multi-modal attribute uniformization with merge and generate operators so that each entity has one and only one uniform feature in each modality. The ACKGs are then fed into a relation-aware graph neural network with random dropouts, to obtain aggregated relation representations and robust entity representations. In order to evaluate the ACK-MMEA facilitated for entity alignment, we specially design a joint alignment loss for both entity and attribute evaluation. Extensive experiments conducted on two benchmark datasets show that our approach achieves excellent performance compared to its competitors.

研究の動機と目的

• 同等のエンティティにおいて属性数の不一致やモダリティの欠落によって生じる文脈的ギャップを解消すること。
• 多モーダル知識グラフ（MMKG）における属性表現の一貫性を保証し、アライメント性能の向上を図ること。
• 属性の冗長性や欠落に対して耐性を持つ表現学習フレームワークを設計すること。そのために属性の均一化とドロップアウト正則化を活用する。
• エンティティと属性の監視を統合したジョイントアライメント損失を用いて、属性一貫性がエンティティアライメントに与える効果を評価すること。

提案手法

• マージおよび生成演算子を用いた多モーダル属性の均一化により、属性一貫性のある知識グラフ（ACKG）を構築する。これにより、各エンティティが各モダリティごとに正確に1つの標準化された属性を持つよう保証される。
• 複数の属性を1つの代表的特徴に圧縮するためのアテンションベースのマージ演算子を適用し、ノイズや冗長な属性をフィルタリングする。
• 画像やテキストなどの属性が欠落している場合に、生成演算子を用いて欠落した属性を合成し、エンティティ間での一貫性を確保する。
• ランダムな隣接ノードドロップアウトを適用した関係に配慮したグラフニューラルネットワーク（ConsistGNN）を用い、強固なエンティティ表現と集約された関係特徴を学習する。
• エンティティアライメントと属性一貫性の両方を同時に最適化するジョイントアライメント損失を導入し、全体の表現品質を向上させる。
• 非同等なエンティティに対して異なる表現を促すために、隣接ノードの相違度損失を活用し、アライメントの精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 同等のエンティティが異なる数の属性を持つ、またはモダリティが欠落している場合、多モーダルエンティティアライメントにおける文脈的ギャップをどのように軽減できるか？
• RQ2 属性の均一化は、多モーダルエンティティアライメントのロバストネスおよび正確性をどの程度向上させるか？
• RQ3 ランダムドロップアウトを適用した関係に配慮したGNNは、MMEAにおけるエンティティ表現学習の故障耐性および一般化性能を向上させることができるか？
• RQ4 ジョイントアライメント損失は、エンティティと属性レベルの監視を統合することで、アライメント性能の向上にどの程度効果を発揮するか？
• RQ5 属性の削除や不完全なモダリティ条件下で、属性一貫性の影響はモデル性能にどのように現れるか？

主な発見

• ACK-MMEAは2つのベンチマークデータセットで最先端の性能を達成し、MRR、Hits@1、Hits@10の指標でベースラインを上回った。
• すべての属性が削除された状態でも、MRRが1〜5%程度の低下にとどまり、ドロップアウトと相違度正則化のおかげで優れた故障耐性を示した。
• 画像属性が削除された場合でも、ACK-MMEAはベースラインを上回った。これは、属性一貫性のある表現がモダリティの不均衡を軽減する有効性を示している。
• 属性ギャップが拡大するにつれて性能低下が遅やかに進行する傾向を示し、属性数の差による文脈的ギャップに対して耐性があることが示された。
• 最適な性能は隣接ノードドロップアウト率35%で達成され、ランダムドロップアウトがロバストネス向上に有効であることを裏付けた。
• アブレーションスタディの結果、テキストおよび画像属性の両方が不可欠であり、モデルはベースラインよりも属性削除に対して影響を少なく受けることが確認され、一貫性学習メカニズムの有効性が検証された。