[論文レビュー] Learning to Exploit Long-term Relational Dependencies in Knowledge Graphs

Lingbing Guo, Zequn Sun+1 more|arXiv (Cornell University)|May 13, 2019

Advanced Graph Neural Networks被引用数 106

ひとこと要約

RSNsはリレーショナルパスから学習し、知識グラフの長期依存性を捉えるスキッピング機構を用いて、跨KGのエンティティ整合を改善し、競争力のあるKG補完を実現する。

ABSTRACT

We study the problem of knowledge graph (KG) embedding. A widely-established assumption to this problem is that similar entities are likely to have similar relational roles. However, existing related methods derive KG embeddings mainly based on triple-level learning, which lack the capability of capturing long-term relational dependencies of entities. Moreover, triple-level learning is insufficient for the propagation of semantic information among entities, especially for the case of cross-KG embedding. In this paper, we propose recurrent skipping networks (RSNs), which employ a skipping mechanism to bridge the gaps between entities. RSNs integrate recurrent neural networks (RNNs) with residual learning to efficiently capture the long-term relational dependencies within and between KGs. We design an end-to-end framework to support RSNs on different tasks. Our experimental results showed that RSNs outperformed state-of-the-art embedding-based methods for entity alignment and achieved competitive performance for KG completion.

研究の動機と目的

• 三元組レベルの学習を超えて長期的な関係依存性を捉えるために、KG埋め込みを促進する。
• 1ホップ隣接のみではなく、リレーショナルパスを活用するパスレベル埋め込み法を開発する。
• パスモデリングにおいて主語エンティティを強調するスキップ/残差機構を用いる再帰的スキッピングネットワーク（RSNs）を提案する。
• biasedパス採択を含むRSNのエンドツーエンドフレームワークを設計し、タイプベースのネガティブサンプリングを含む。
• RSNsがエンティティ整合で最先端手法を上回り、KG補完でも競争力があることを実証的に示す。

提案手法

• 予測時に主語エンティティを取り入れるために、リレーショナルパスに基づく学習とRSNsを導入し、残差風のスキップを適用する。
• エンティティと関係を区別し、エンティティ入力からオブジェクト予測へのスキップを適用してRSNsでリレーショナルパスをモデル化する。
• 訓練のために深く跨K Gのリレーショナルパスをサンプリングするために biased random walks を用いる。
• エンティティまたは関係の語彙から派生したネガティブサンプルを用いてRSNsを効率的に訓練するために、タイプベースのノイズ対比推定（NCE）を使用する。
• 接続性を高め、跨KGのパス伝搬を可能にするために、逆連結を追加する。

実験結果

リサーチクエスチョン

• RQ1 複数のKGに跨るエンティティ整合タスクで、RSNsを用いたリレーショナルパスベースの埋め込みは三元組ベースのKG埋め込みを上回ることができるか？
• RQ2 biased depth-aware and cross-KG biased random walks は整合情報の伝播と埋め込み品質を向上させるか？
• RQ3 リレーショナルパスから学習する場合、RSNsは最新のKG補完モデルと競合できるか？
• RQ4 パスベースのアプローチはロングテールエンティティと跨ドメインKG統合に利点を提供しますか？

主な発見

• RSNsはエンティティ整合のベンチマークで最先端の埋め込みベース手法を上回る。
• 跨KGの biased random walks は、バイアスなしのRSNsを上回る整合性能をもたらす。
• RSNsは競争力のあるKG補完結果を達成し、しばしばトランスレーショナルモデルを上回り、専門的なKG補完モデルに近づく。
• RSNsは relational path modeling において標準的な RNNs/RRNs よりも収束が速く、最適化挙動が良いことを示す。
• RSNsを用いたパスベース学習はHits@1とMRRでより大きな改善を示し、上位予測の強さを示す。