[論文レビュー] Trust from the past: Bayesian Personalized Ranking based Link Prediction in Knowledge Graphs

Baichuan Zhang, Sutanay Choudhury+5 more|arXiv (Cornell University)|Jan 14, 2016

Advanced Graph Neural Networks参考文献 29被引用数 22

ひとこと要約

本稿では、知識グラフにおける述語固有の潜在的特徴埋め込みを学習するベイジアンパーソナライズドランクイング（BPR）ベースのリンク予測モデルを提案し、SOTA手法と比較してYAGO2で優れた性能を達成した。この手法は、各述語ごとの二部グラフを活用し、グラフのトポロジー（特に密度と平均次数）がリンク予測精度を強く予測することを示した。

ABSTRACT

Link prediction, or predicting the likelihood of a link in a knowledge graph based on its existing state is a key research task. It differs from a traditional link prediction task in that the links in a knowledge graph are categorized into different predicates and the link prediction performance of different predicates in a knowledge graph generally varies widely. In this work, we propose a latent feature embedding based link prediction model which considers the prediction task for each predicate disjointly. To learn the model parameters it utilizes a Bayesian personalized ranking based optimization technique. Experimental results on large-scale knowledge bases such as YAGO2 show that our link prediction approach achieves substantially higher performance than several state-of-art approaches. We also show that for a given predicate the topological properties of the knowledge graph induced by the given predicate edges are key indicators of the link prediction performance of that predicate in the knowledge graph.

研究の動機と目的

• 知識グラフにおける異なる述語ごとのリンク予測性能のばらつきに起因する課題に対処すること。
• エンティティおよび関係の事前知識を活用する、パーソナライズドで述語別に分離されたリンク予測モデルの開発。
• 述語固有の部分グラフのトポロジー的性質がリンク予測性能に与える影響を定量化すること。
• 知識グラフ構築時における三元組の信頼性スコアの付与により、データ品質の向上を図ること。

提案手法

• モデルは、ベイジアンパーソナライズドランクイング（BPR）最適化フレームワークを用いて、知識グラフ内のエンティティの潜在的特徴埋め込みを学習する。
• 各述語に対して、その述語のエッジによって誘導される二部グラフに限定してモデルを訓練することで、述語固有のモデリングを実現する。
• BPRの目的関数は、存在する（正例）三元組と存在しない（負例）三元組の順序付けを最適化し、ユーザーの好みを暗黙的にモデル化する。
• 各述語の部分グラフに対して、密度、平均次数、クラスタリング係数などのグラフトポロジー指標を計算し、それらとモデル性能の相関を分析する。
• 線形回帰モデルを用いて、これらのトポロジー的特徴とリンク予測性能（HR、ARHR、AUCで測定）との関係を定量化する。
• 本手法は、大規模なYAGO2知識ベース上で評価され、Most Popularおよび行列分解ベースラインと比較された。

実験結果

リサーチクエスチョン

• RQ1 知識グラフにおける異なる述語ごとのリンク予測性能はどのように変動し、その変動要因は何であるか？
• RQ2 密度、平均次数、クラスタリング係数などの述語固有部分グラフのトポロジー的性質が、リンク予測性能にどの程度相関しているか？
• RQ3 BPRベースの潜在的特徴埋め込みモデルは、知識グラフのリンク予測において、既存のSOTA手法を上回る性能を示せるか？
• RQ4 知識グラフの部分グラフの構造的特徴は、特定の述語に対するリンク予測の信頼性にどのように影響するか？

主な発見

• 提案されたBPRベースのモデルは、YAGO2知識ベースにおいて、Most Popularおよび行列分解ベースラインと比較して顕著に高い性能を達成した。
• グラフの密度と平均次数は、リンク予測性能と強く正の相関を示し、相関係数（rvalue）が明確な上行傾向を示した。
• クラスタリング係数は、特にAUC（rvalue ≈ -0.69）において強い負の相関を示し、疎で非推移的なグラフが予測しやすいことを示唆している。
• モデルの性能は、述語固有部分グラフの構造的性質に強く依存しており、トポロジーがリンク予測成功の主要な予測要因であることが示された。
• 結果から、リンク予測精度は述語ごとに大きくばらつきを示すが、これはグラフトポロジー指標を用いて体系的に説明可能であることが確認された。
• 本手法は、候補となる三元組に対して信頼性スコアを付与する原理的かつ整合性のある方法を提供し、ノイズの多いデータからの信頼性の高い知識グラフ構築を支援する。