[論文レビュー] Learning to Exploit Long-term Relational Dependencies in Knowledge Graphs

Lingbing Guo, Zequn Sun+1 more|arXiv (Cornell University)|May 13, 2019

Advanced Graph Neural Networks参考文献 41被引用数 90

ひとこと要約

本論文は Recurrent Skipping Networks (RSNs) を導入し、知識グラフにおける長期依存性を捉えるための skipping 機構を用いて Relational paths をモデル化し、entity alignment で優れた結果を、KG completion では競争力のある性能を達成する。

ABSTRACT

We study the problem of knowledge graph (KG) embedding. A widely-established\nassumption to this problem is that similar entities are likely to have similar\nrelational roles. However, existing related methods derive KG embeddings mainly\nbased on triple-level learning, which lack the capability of capturing\nlong-term relational dependencies of entities. Moreover, triple-level learning\nis insufficient for the propagation of semantic information among entities,\nespecially for the case of cross-KG embedding. In this paper, we propose\nrecurrent skipping networks (RSNs), which employ a skipping mechanism to bridge\nthe gaps between entities. RSNs integrate recurrent neural networks (RNNs) with\nresidual learning to efficiently capture the long-term relational dependencies\nwithin and between KGs. We design an end-to-end framework to support RSNs on\ndifferent tasks. Our experimental results showed that RSNs outperformed\nstate-of-the-art embedding-based methods for entity alignment and achieved\ncompetitive performance for KG completion.\n

研究の動機と目的

• 知識グラフにおける1ホップの三元組を超える長期的な関係依存性を捉える必要性を動機づける。
• 関係パスをモデル化するために、残差学習と skipping 機構を統合した Recurrent Skipping Networks (RSNs) を提案する。
• RSNs のために biased random walks と type-based noise-contrastive estimation を用いたエンドツーエンドのフレームワークを開発する。
• 実世界データセットを跨いで、エンティティ整列と KG 補完タスクに対する RSNs を経験的に評価する。

提案手法

• 関連パスを、連結性を高めるために追加された逆関係を含むエンティティ-関係チェーンとして定義する。
• 標準的な RNN を RSNs に置換し、残差形式を介して対象エンティティを予測するために主語エンティティを直接入力する skipping 機構を導入する。
• 埋め込み学習に適した深く横断的な KG 間の関係パスをサンプリングするために、偏りを持つランダムウォークを用いる。
• type-based noise-contrastive estimation (NCE) を適用して、エンティティまたはリレーションターゲットに合わせたネガティブサンプリングを用いて RSNs を効率的に訓練する。
• エンドツーエンドのフレームワークはエンティティ整列と KG 補完の双方をサポートし、RSNs を用いてパスベースの埋め込みを学習する。

実験結果

リサーチクエスチョン

• RQ1 Relational paths を介して長期的な関係依存性をモデル化することで、エンティティ整列と KG 補完のための KG 埋め込みを改善できるか？
• RQ2 KG 間の整列情報の伝搬を、三元組レベルの手法と比較して、biased path sampling と RSNs がより優れているか？
• RQ3 RSN ベースのパスモデリングは、従来の RNN や残差型と比較して収束と性能の点でどうなるか？

主な発見

• RSNs は複数のデータセットにおいてエンティティ整列で最先端の埋め込みベース手法を上回る。
• 深く横断的な KG 間パスを促進する偏りを持つランダムウォークは、バイアスなしの RSNs を超える整列性能を向上させる。
• RSNs は KG 補完で競争力のある結果を達成し、しばしば翻訳型モデルを上回り、専門的な KG 補完手法に接近する。
• RSNs は Relational path modeling において、標準的な RNNs や RRNs より迅速な収束とより良い最適化挙動を示す。
• パスサンプリングと NCE ベースの訓練を含むエンドツーエンドのフレームワークで手法を検証。