[論文レビュー] Knowledge Graph Embedding for Link Prediction: A Comparative Analysis

Andrea Rossi, Donatella Firmani+3 more|arXiv (Cornell University)|Feb 3, 2020

Advanced Graph Neural Networks参考文献 70被引用数 141

ひとこと要約

この論文は、人気のベンチマークにわたって、16個のKG埋め込みベースのリンク予測モデルをゼロから包括比較し、方法論の違いと評価実践を明らかにする。

ABSTRACT

Knowledge Graphs (KGs) have found many applications in industry and academic settings, which in turn, have motivated considerable research efforts towards large-scale information extraction from a variety of sources. Despite such efforts, it is well known that even state-of-the-art KGs suffer from incompleteness. Link Prediction (LP), the task of predicting missing facts among entities already a KG, is a promising and widely studied task aimed at addressing KG incompleteness. Among the recent LP techniques, those based on KG embeddings have achieved very promising performances in some benchmarks. Despite the fast growing literature in the subject, insufficient attention has been paid to the effect of the various design choices in those methods. Moreover, the standard practice in this area is to report accuracy by aggregating over a large number of test facts in which some entities are over-represented; this allows LP methods to exhibit good performance by just attending to structural properties that include such entities, while ignoring the remaining majority of the KG. This analysis provides a comprehensive comparison of embedding-based LP methods, extending the dimensions of analysis beyond what is commonly available in the literature. We experimentally compare effectiveness and efficiency of 16 state-of-the-art methods, consider a rule-based baseline, and report detailed analysis over the most popular benchmarks in the literature.

研究の動機と目的

• 知識グラフの不完全性を動機づけ、埋め込みによるリンク予測を評価する。
• 集計されたテスト精度を超えた大規模で公正な比較分析を提供する。
• アーキテクチャ全体の設計選択がLP性能に与える影響を、一般的ベンチマークで詳述する。
• 情報価値のある評価手法を提案し、公開データセット、コード、結果を共有する。

提案手法

• ゼロから16の埋め込みベースLPモデルとルールベースのベースラインを訓練・調整する。
• 多様なアーキテクチャを比較する：テンソル分解、幾何学的モデル、深層学習モデル。
• 標準指標で5つの最も一般的に使用されるLPデータセットで評価する。
• 構造的なトレーニングデータ特徴を定義し、それらが予測性能に与える影響を測定する。
• 各予測のランクとCSV出力を提供してより深い分析を可能にする。
• 公開GitHubリポジトリを通じてコードとリソースを共有する。

実験結果

リサーチクエスチョン

• RQ1 標準のLPベンチマークで、効果と効率の最良のトレードオフを提供するKG埋め込みモデルはどれか？
• RQ2 設計 choices: テンソル対幾何対深層学習、二線形対非二線形、翻訳対回転はLP性能にどのように影響するか？
• RQ3 データセットの特性はモデル性能にどう影響しますか、簡単な予測と難しい予測を予測する要因は何ですか？
• RQ4 現在の評価手法は、KG全体のモデル能力を正確に反映していますか？

主な発見

• 16の最新モデルが5つのデータセットで実験的に比較された。
• 本研究は元の論文を超える詳細な結果を提供し、各モデルとデータセットの効率と有用性を含む。
• トレーニングデータの構造的特徴のセットを定義し、それらがモデル性能に与える影響を評価。
• 結果には予測ごとの順位と透明性のための完全な予測リストを含む。
• データセット、コード、リソースはGitHubで公開されている。