[論文レビュー] Cross-lingual Entity Alignment with Adversarial Kernel Embedding and Adversarial Knowledge Translation

Gong Zhang, Yang Zhou+3 more|arXiv (Cornell University)|Apr 16, 2021

Advanced Graph Neural Networks参考文献 34被引用数 5

ひとこと要約

本稿では、異種知識グラフの共有空間への埋め込みと、ランダムウォーク上の敵対的知識翻訳を用いて構造的・属性的不均一性と系列的文脈無知性を解消することで、特徴の不一致と系列的文脈無知性に対処する二重敵対的学習フレームワークDaeaを提案する。DAEAは、実世界のデータセット上で13の最先端手法を顕著に上回り、複数のベンチマークで最先端の性能を達成した。

ABSTRACT

Cross-lingual entity alignment, which aims to precisely connect the same entities in different monolingual knowledge bases (KBs) together, often suffers challenges from feature inconsistency to sequence context unawareness. This paper presents a dual adversarial learning framework for cross-lingual entity alignment, DAEA, with two original contributions. First, in order to address the structural and attribute feature inconsistency between entities in two knowledge graphs (KGs), an adversarial kernel embedding technique is proposed to extract graph-invariant information in an unsupervised manner, and project two KGs into the common embedding space. Second, in order to further improve successful rate of entity alignment, we propose to produce multiple random walks through each entity to be aligned and mask these entities in random walks. With the guidance of known aligned entities in the context of multiple random walks, an adversarial knowledge translation model is developed to fill and translate masked entities in pairwise random walks from two KGs. Extensive experiments performed on real-world datasets show that DAEA can well solve the feature inconsistency and sequence context unawareness issues and significantly outperforms thirteen state-of-the-art entity alignment methods.

研究の動機と目的

• 異なる言語における構造的・属性的不均一性により生じる単言語知識グラフ間の特徴の不一致を解消すること。
• 複数のランダムウォークによる長距離依存関係の捉え込みによって、エンティティアライメントにおける系列的文脈無知性を克服すること。
• 初期埋め込み学習段階で既知のアライメント済みエンティティを必要としない非教師あり手法を開発すること。
• ランダムウォークシーケンス内の既知のアライメント済みエンティティからの文脈的ガイダンスを活用してアライメント精度を向上させること。
• エンティティ、関係、属性、名前といった複数の側面の情報を統合し、クロスリンガルアライメントに耐性のある統一された表現を構築すること。

提案手法

• エンティティ、関係、属性、名前の埋め込みを統合する統一された潜在表現を学習するために、グラフ畳み込みネットワーク（GCNs）を用いる。
• 有界関数下での最大平均差（MMD）を用いて、2つの知識グラフを共通の再生核ヒルバート空間（RKHS）に射影する敵対的カーネル埋め込みを採用する。
• 各エンティティに対して複数の10ホップランダムウォークを生成し、長距離の近隣文脈を捉え、アライメント済みエンティティを強調する。
• アライメント対象のエンティティをマスクし、マスクされていない既知のアライメント済みエンティティを文脈として用いてエンティティ予測をガイドする。
• ペアドされたランダムウォークからのマスクされたエンティティを埋め込み・翻訳する敵対的知識翻訳モデルを構築する。
• 多様なランダムウォークからの複数の文脈に依存した表現を集約し、より包括的なエンティティ埋め込みを形成してアライメントを向上させる。

実験結果

リサーチクエスチョン

• RQ1 構造的・属性的不均一性を持つ異種知識グラフを、教師なしで敵対的カーネル埋め込みによって効果的にアライメントできるか？
• RQ2 局所的近隣情報が不十分な場合に、複数のランダムウォークからの長系列的文脈がエンティティアライメント精度を向上させられるか？
• RQ3 ペアドされたランダムウォーク上での敵対的知識翻訳が、既知のアライメント済みエンティティを文脈として用いて、マスクされたエンティティの予測と翻訳を効果的に学習できるか？
• RQ4 エンティティ、関係、属性、名前といった複数の側面の情報統合が、低リソースおよび高リソース言語ペアにおけるアライメント性能に与える影響は何か？
• RQ5 言語カバレッジや文法的差異の変動に応じて、DAEAは既存の最先端手法をどの程度上回るか？

主な発見

• DAEAはDBP15K（Zh-En）でH@1が0.189、（Ja-En）で0.170、（Fr-En）で0.197を達成し、13のSOTA手法をすべて上回った。
• 知識補完タスクにおいて、DAEAはDBP15K（Fr-En）でMRRが0.362、（Ja-En）で0.322、（Zh-En）で0.314を達成し、優れたアライメント品質を示した。
• 3つの実世界データセットすべてにおいて、H@1、H@10、MRRの全評価指標でベースラインを一貫して上回り、言語ペア間での頑健性を確認した。
• アブレーションスタディの結果、敵対的カーネル埋め込みと敵対的知識翻訳の両方が性能向上に顕著な貢献しており、特に後者は文脈に依存した認識を強化した。
• 事例スタディにより、DAEAは高リソース言語のウォークからの文脈的情報を活用して、近隣が不均衡なエンティティを効果的にアライメントできることを確認した。
• 複数のランダムウォークからの表現集約は、単一パス手法よりも優れたアライメントをもたらし、H@1およびMRRの一貫した向上が示された。