[論文レビュー] EchoEA: Echo Information between Entities and Relations for Entity Alignment

Xueyuan Lin, E Haihong+2 more|arXiv (Cornell University)|Jul 7, 2021

Advanced Graph Neural Networks参考文献 28被引用数 4

ひとこと要約

EchoEAは、エンティティと関係の間で情報をエコーするように設計された、より深い4段階の自己注意型GNNエンコーダー「Echo」を提案し、エンティティ表現を向上させる。同時に、属性を組み合わせた双方向グローバルフィルタリング戦略（ABGS）を導入し、高品質な半教師付き学習データを生成する。この手法は、3つのクロスリンガルデータセットで平均Hits@1が96%を達成し、最先端のGNNベース手法を著しく上回る性能を示した。

ABSTRACT

Entity alignment (EA) plays an important role in automatically integrating knowledge graphs (KGs) from multiple sources. Recent approaches based on Graph Neural Network (GNN) obtain entity representation from relation information and have achieved promising results. Besides, more and more methods introduce semi-supervision to ask for more labeled training data. However, two challenges still exist in GNN-based EA methods: (1) Deeper GNN Encoder: The GNN encoder of current methods has limited depth (usually 2-layers). (2) Low-quality Bootstrapping: The generated semi-supervised data is of low quality. In this paper, we propose a novel framework, Echo Entity Alignment (EchoEA), which leverages 4-levels self-attention mechanism to spread entity information to relations and echo back to entities. Furthermore, we propose attribute-combined bi-directional global-filtered strategy (ABGS) to improve bootstrapping, reduce false samples and generate high-quality training data. The experimental results on three real-world cross-lingual datasets are stable at around 96\% at hits@1 on average, showing that our approach not only significantly outperforms the state-of-the-art GNN-based methods, but also is universal and transferable for existing EA methods.

研究の動機と目的

• エンティティアライメントにおいて、通常2層の浅いGNNエンコーダーが直面する過剰平滑化と限られた受容 field の問題を解決すること。
• 半教師付きエンティティアライメントにおける低品質なブートストラップ（ノイズの多い誤検出や誤検出）がモデル性能を低下させることを是正すること。
• より深いアーキテクチャを用いて、エンティティと関係の間で双方向の情報フローを可能にし、相互作用を強化すること。
• 表現学習とデータ効率の両面で向上をもたらす、強力で汎用的かつ転送可能なフレームワークを構築すること。

提案手法

• 典型的な2層モデルとは異なり、5層のGNN深度を達成する4段階の自己注意メカニズムを備えたEchoエンコーダーを設計し、エンティティの情報を関係に伝達し、それをエコーすることで情報伝達を実現する。
• 局所的およびグローバルなアライメントを用いて、正例および負例のブートストラップサンプルをフィルタリング・精錬する、属性を組み合わせた双方向グローバルフィルタリング戦略（ABGS）を導入する。
• 属性の類似性と値の類似性を活用し、初期のシードアライメントの品質を向上させるとともに、反復的ブートストラップをガイドする。
• 低信頼度の予測を削除するためのグローバルフィルタリングを適用し、反復学習中に誤検出および誤検出を低減する。
• エンティティと関係の相互寄与をモデル化する対称的なメッセージパッシング機構を採用し、表現学習を向上させる。
• 高信頼度の予測を動的に訓練データに追加する反復的半教師付き学習ループと、Echoエンコーダーを統合する。

実験結果

リサーチクエスチョン

• RQ1 多段階の注意メカニズムを備えたより深いGNNアーキテクチャが、通常の2層GNNをはるかに超えるエンティティアライメント性能を実現できるか？
• RQ2 ブートストラップにおいて正例と負例の両方を組み込むことで、単に正例のみを用いる手法と比較して、一般化性能が向上しノイズが低減するか？
• RQ3 局所的およびグローバルなアライメント信号を効果的に統合することで、反復的エンティティアライメントにおける生成された訓練データの品質をフィルタリング・向上できるか？
• RQ4 Echoモデルがエンティティと関係の間で双方向に情報を伝えることで、表現学習およびアライメント精度にどのような影響を与えるか？
• RQ5 ABGS戦略が、最先端手法と比較して、ブートストラップされた訓練データにおける誤検出および誤検出率をどの程度低減できるか？

主な発見

• EchoEAは、3つの実世界のクロスリンガル知識グラフデータセットで平均Hits@1が約96%を達成し、既存のGNNベース手法を著しく上回った。
• FR_ENデータセットではピークHits@1が97.91%に達し、挑戦的なクロスリンガルアライメントタスクにおいて優れた性能を示した。
• ABGS戦略により、最先端手法MRAEAと比較して誤検出率および誤検出率の両方が約50%低減され、より高品質なブートストラップデータであることが示された。
• 4段階の注意メカニズムを備えたEchoエンコーダーは、RAGAを上回る性能を発揮し、ABGSを除いたEcho単体でもRAGAを上回る性能を示した。これは、アーキテクチャの有効性を裏付けた。
• アブレーションスタディの結果、EchoのPAN、CAN、ENモジュールが性能向上に顕著な寄与を示し、特にPANが最も重要であることが判明。次にCAN、ENが続く。
• EchoEAにおけるエンティティの利用率は、100エポックの学習期間中に約95%に達し、生成されたブートストラップサンプルを効率的に活用していることが示された。また、データ品質およびカバー範囲の両面で、MRAEAを一貫して上回った。