[論文レビュー] Recurrent Skipping Networks for Entity Alignment

Lingbing Guo, Zequn Sun+2 more|arXiv (Cornell University)|Nov 6, 2018

Advanced Graph Neural Networks参考文献 22被引用数 9

ひとこと要約

本稿では、知識グラフ全体を横断する長距離パスを生成するためのバイアス付きランダムウォークサンプリングを用い、それらのパスを再帰的スキッピングネットワーク（RSN）でモデル化する、エントリティアライメントのための新規エンドツーエンドフレームワークRSN4EAを提案する。RSNは残差学習を組み込むことでRNNの収束速度と性能を向上させ、エントリティアライメントで最先端の結果を達成するとともに、知識グラフ補完においても競争力のある性能を示し、事前のアライメントに依存する度合いを低減する。

ABSTRACT

We consider the problem of learning knowledge graph (KG) embeddings for entity alignment (EA). Current methods use the embedding models mainly focusing on triple-level learning, which lacks the ability of capturing long-term dependencies existing in KGs. Consequently, the embedding-based EA methods heavily rely on the amount of prior (known) alignment, due to the identity information in the prior alignment cannot be efficiently propagated from one KG to another. In this paper, we propose RSN4EA (recurrent skipping networks for EA), which leverages biased random walk sampling for generating long paths across KGs and models the paths with a novel recurrent skipping network (RSN). RSN integrates the conventional recurrent neural network (RNN) with residual learning and can largely improve the convergence speed and performance with only a few more parameters. We evaluated RSN4EA on a series of datasets constructed from real-world KGs. Our experimental results showed that it outperformed a number of state-of-the-art embedding-based EA methods and also achieved comparable performance for KG completion.

研究の動機と目的

• 既存のエントリティアライメント手法が三元組レベルの埋め込みにのみ焦点を当てており、知識グラフ内の長期的依存関係を捉えられていないという限界に対処すること。
• 長距離パスのモデリングにより、知識グラフ間を横断する識別情報の効果的な伝搬を可能にすることで、大規模な事前のアライメントに依存するのを減らすこと。
• 深さと知識グラフ間バイアスを制御可能なパスサンプリング戦略を設計すること。
• 標準のRNNと比較して、知識グラフパス内の関係的構造と方向性をより効果的に捉えることができる順序モデリングアーキテクチャを設計すること。
• 密度と言語設定を制御した現実的で多様なデータセット上で評価することで、再現可能性と頑健性を保証すること。

提案手法

• RSN4EAは、深さとアライメント関連エンティティへのバイアスを制御可能なバイアス付きランダムウォークサンプリング手法を用い、知識グラフを横断する長距離パスを生成する。
• 本フレームワークは、RNNに残差学習を統合することで勾配の流れと収束速度を向上させる、新規の再帰的スキッピングネットワーク（RSN）を採用している。
• RSNは、主語エンティティと予測された目的語の間の残差を学習することでパスをモデル化し、構造的文脈を保持し、表現学習を向上させる。
• 本モデルは、アライメント済みエンティティペアを対象にコントラスト学習を用いてエンドツーエンドで訓練され、エントリティアライメントおよび知識グラフ補完のための損失関数が最適化されている。
• パスサンプリングは事前のアライメントに従い、既知のアライメント済みエンティティを接続するパスを優先することで、情報伝搬を強化する。
• 本手法は、密度と言語設定（単語言語および多言語）が異なる4つの実世界のKGペアで評価され、一般化性能を確認している。

実験結果

リサーチクエスチョン

• RQ1 知識グラフ内の長距離パスをモデリングすることで、三元組レベルの埋め込み手法を超えるエントリティアライメント性能を達成できるか？
• RQ2 RNNに残差学習を組み込むことで、知識グラフの関係的シーケンスのモデリングにどのような影響を与えるか？
• RQ3 パスベース学習によって、事前のアライメントセットのサイズに依存する度合いをどの程度低減できるか？
• RQ4 サンプリングされたランダムウォークの長さが、エントリティアライメントおよび知識グラフ補完の性能に与える影響は何か？
• RQ5 パスベース手法は、エントリティアライメントを主たる目的として設計されているが、知識グラフ補完においても競争力のある性能を達成できるか？

主な発見

• RSN4EAは、すべてのデータセットで複数の最先端の埋め込みベースのエントリティアライメント手法を上回り、事前のアライメントが少ない状況下でBootEAを上回る最大30.2%のHits@1の向上を達成した。
• 提案されたRSNは、標準のRNNやRRNと比較して、訓練時間の1/30で優れた性能を達成した。これは、順序モデリングにおける残差学習の有効性を示している。
• ランダムウォーク長さが15〜25で性能が飽和した。これは、中程度の長さ（15）のパスが性能と効率のバランスを最適にしていることを示している。
• FB15K-237ベンチマークでは、本タスクに特化して最適化されていないにもかかわらず、ConvEに次いで知識グラフ補完で競争力のある結果を達成した。
• 事前のアライメントを10%に減らした場合、RSN4EAはBootEAよりも著しく高い性能を維持し、一部のケースではHits@1がほぼ2倍にまで向上した。これは、低監視下でも高い頑健性を示している。
• 本手法は、通常の知識グラフと高密度知識グラフの両方で安定した性能を示し、多様なデータ分布への一般化能力を確認した。