[論文レビュー] Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs

Deepak Nathani, Jatin Chauhan+2 more|arXiv (Cornell University)|Jun 4, 2019

Advanced Graph Neural Networks被引用数 5

ひとこと要約

本稿では、知識グラフにおける多ホップのエンティティおよび関係特徴を捉えることで関係予測を向上させる、新しいグラフアテンションネットワークを提案する。アテンション機構を複数ホップにわたるノードおよびエッジに拡張し、関係合成を用いて長距離依存関係を保持することで、最先端の性能を達成しており、特にFB15K-237におけるHits@1で104%の向上を達成している。

ABSTRACT

The recent proliferation of knowledge graphs (KGs) coupled with incomplete or partial information, in the form of missing relations (links) between entities, has fueled a lot of research on knowledge base completion (also known as relation prediction). Several recent works suggest that convolutional neural network (CNN) based models generate richer and more expressive feature embeddings and hence also perform well on relation prediction. However, we observe that these KG embeddings treat triples independently and thus fail to cover the complex and hidden information that is inherently implicit in the local neighborhood surrounding a triple. To this effect, our paper proposes a novel attention based feature embedding that captures both entity and relation features in any given entity's neighborhood. Additionally, we also encapsulate relation clusters and multihop relations in our model. Our empirical study offers insights into the efficacy of our attention based model and we show marked performance gains in comparison to state of the art methods on all datasets.

研究の動機と目的

• 個々のトリプルを独立して扱う既存の知識埋め込みモデルの限界を解決する。具体的には、局所的近傍における潜在的で意味的に豊かな関係を捉えることができない点を改善する。
• 知識グラフ内の複雑で隠れた多ホップ関係および関係クラスタをモデリングすることで、関係予測を向上させる。
• マルチホップ近傍においてエンティティおよび関係特徴を同時に注目できるように、グラフアテンション機構を一般化する。
• 関係合成を組み込むことで、モデルの深さが増すに従い長距離依存関係の流れを維持する能力を高め、モデルの表現力を向上させる。
• 知識ベース補完の分野において、最先端の手法と比較して優れた性能を示すことを実証する。

提案手法

• 与えられたエンティティのマルチホップ近傍において、ノード（エンティティ）およびエッジ（関係）特徴の両方を注目する一般化されたグラフアテンション機構を提案する。
• エンコーダに提案されたグラフアテンション機構を用い、デコーダにConvKBを用いる、マルチレイヤードエンコーダ・デコーダアーキテクチャを統合する。
• Linら（2015）の関係合成を適用し、nホップの近傍同士に補助エッジを生成することで、遠く離れたエンティティ間での情報伝達を効果的に可能にする。
• レイヤー間で反復的なメッセージパッシングを実行し、アテンション重みを伝搬させることで、モデルが関係するエンティティおよび関係に動的に注目できるようにする。
• ネガティブサンプリングとリンク予測損失関数を用いて、エンティティおよび関係表現学習を最適化するため、エンドツーエンドでモデルを学習する。
• アテンションスコアを活用して、クラスタリングされた関係やPageRankが高めのノードを含む意味的に関連の深い部分グラフを特定・優先順位付けする。

実験結果

リサーチクエスチョン

• RQ1 エンティティと関係をマルチホップ近傍で同時にモデリングするグラフアテンション機構は、知識グラフにおける関係予測を向上させることができるか？
• RQ2 関係クラスタおよび多ホップ関係の組み込みが、知識埋め込みモデルの性能に与える影響は何か？
• RQ3 知識ベース補完において、アテンションベースの特徴集約は、個別にトリプルを処理する手法に比べてどの程度優れているか？
• RQ4 関係合成の使用は、深層アーキテクチャにおける長距離依存関係を捉える能力を向上させるか？
• RQ5 トレーニング中にアテンション分布はどのように変化するか？また、グラフの構造的特性（例：PageRank）と相関関係があるか？

主な発見

• 提案モデルは、FB15K-237データセットにおいて、最先端手法と比較してHits@1で104%の向上を達成した。
• WN18RRでは、Hits@1およびHits@10で顕著な向上を示したが、FB15K-237ほど顕著な性能向上は見られなかった。
• アブレーションスタディの結果、関係特徴を除去すると性能が著しく低下し、関係予測においてその重要性が示された。
• モデルのアテンション機構は、直接の近傍に注目する方向に収束するが、同時に情報量の多い多ホップおよびクラスタ化された関係パターンを捉えることができる。
• ノードのPageRankと相対MRR向上率との間に強い正の相関（r = 0.808）が観察され、密度の高い領域がアテンション機構の恩恵を最も受けることが示唆された。
• WN18RRのような極めてスパースで階層的なグラフでは、モデルの性能が著しく劣り、トップダウンの再帰的依存関係を捉える能力に限界があることが示された。