[論文レビュー] A Self-supervised Method for Entity Alignment

Xiao Liu, Haoyun Hong+5 more|arXiv (Cornell University)|Jun 17, 2021

Advanced Graph Neural Networks参考文献 48被引用数 4

ひとこと要約

この論文では、自己教師あり対照学習手法 SelfKG を提案し、ラベルなしのネガティブなエンティティペアを分離することで、ラベル付きのポジティブペアを引き寄せるのではなく、性能を向上させる。実験の結果、ラベル付きアライメントデータを一切必要としないにもかかわらず、最先端の教師あり手法と同等の性能を達成している。

ABSTRACT

Entity alignment, aiming to identify equivalent entities across different knowledge graphs (KGs), is a fundamental problem for constructing large-scale KGs. Over the course of its development, supervision has been considered necessary for accurate alignments. Inspired by the recent progress of self-supervised learning, we explore the extent to which we can get rid of supervision for entity alignment. Existing supervised methods for this task focus on pulling each pair of positive (labeled) entities close to each other. However, our analysis suggests that the learning of entity alignment can actually benefit more from pushing sampled (unlabeled) negatives far away than pulling positive aligned pairs close. We present SelfKG by leveraging this discovery to design a contrastive learning strategy across two KGs. Extensive experiments on benchmark datasets demonstrate that SelfKG without supervision can match or achieve comparable results with state-of-the-art supervised baselines. The performance of SelfKG demonstrates self-supervised learning offers great potential for entity alignment in KGs.

研究の動機と目的

• 自己教師あり対照学習を活用することで、エンティティアライメントにおいて教師付き学習を排除できるかどうかを調査すること。
• ポジティブペアを引き寄せるのではなく、ネガティブペアを分離することで、アライメント性能が向上するかどうかを検討すること。
• 2つの知識グラフに存在するペア化されていない、ラベルなしエンティティのみに依存する対照学習フレームワークを設計すること。
• 人為的アノテーションによるアライメントが不要な自己教師あり学習の有効性を評価すること。

提案手法

• SelfKG は、埋め込み空間内でサンプリングされたネガティブなエンティティペアを明示的に遠ざける対照学習戦略を採用している。
• ラベル付きアライメントに依存せずに、2つの知識グラフからポジティブおよびネガティブペアを構築する。
• ネガティブペア間の分離を最大化すると同時に、ポジティブペアの近接性を保持する対照的目的関数を用いる。
• 構造的および意味的特徴を2つの知識グラフから抽出し、対照学習に適した意味的な埋め込みを生成する。
• 分離可能な表現を促進する対照損失関数を用いて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり対照学習は、ラベルなしデータのみで教師あり手法を凌駆できるか？
• RQ2 ネガティブサンプリング（ネガティブペアの分離）に注目することで、ポジティブペアの引き寄せに集中するのと比べて、より優れたアライメント性能が得られるか？
• RQ3 2つの知識グラフから得られるペア化されていないエンティティにのみ依存する対照学習アプローチは、どの程度有効か？
• RQ4 自己教師あり手法は、最先端の教師ありベースラインと同等の性能を達成できるか？

主な発見

• SelfKG は、ラベル付きアライメントデータを一切使用しないにもかかわらず、ベンチマーク知識グラフデータセットで最先端の教師あり手法と同等の性能を達成している。
• この手法は、ポジティブペアを引き寄せるのではなく、ネガティブペアを分離することで、アライメント性能向上に寄与することが顕著に示された。
• 広範な実験により、自己教師あり対照学習が教師あり学習の代替手段として実用的かつ効果的であることが確認された。
• 結果から、自己教師あり学習は、人為的アノテーションを最小限に抑えた大規模な知識グラフ構築において、強力な可能性を秘めていることが示唆された。