[論文レビュー] Convolutional 2D Knowledge Graph Embeddings

Tim Dettmers, Pasquale Minervini+2 more|arXiv (Cornell University)|Jul 5, 2017

Advanced Graph Neural Networks被引用数 29

ひとこと要約

この論文では、DistMult や R-GCN よりもはるかに少ないパラメータで最先端の性能を達成する、知識グラフのリンク予測に特化した2次元畳み込みニューラルネットワークである ConvE を提案する。エンティティと関係の埋め込みに2次元畳み込みを適用することで、特にインデグリが大きいノードを有する高密度なグラフにおいて、複雑で階層的なパターンを捉えることができ、1-Nスコアリングの効率化とテストセット漏洩に対する耐性の向上も実現している。

ABSTRACT

Link prediction for knowledge graphs is the task of predicting missing relationships between entities. Previous work on link prediction has focused on shallow, fast models which can scale to large knowledge graphs. However, these models learn less expressive features than deep, multi-layer models -- which potentially limits performance. In this work, we introduce ConvE, a multi-layer convolutional network model for link prediction, and report state-of-the-art results for several established datasets. We also show that the model is highly parameter efficient, yielding the same performance as DistMult and R-GCN with 8x and 17x fewer parameters. Analysis of our model suggests that it is particularly effective at modelling nodes with high indegree -- which are common in highly-connected, complex knowledge graphs such as Freebase and YAGO3. In addition, it has been noted that the WN18 and FB15k datasets suffer from test set leakage, due to inverse relations from the training set being present in the test set -- however, the extent of this issue has so far not been quantified. We find this problem to be severe: a simple rule-based model can achieve state-of-the-art results on both WN18 and FB15k. To ensure that models are evaluated on datasets where simply exploiting inverse relations cannot yield competitive results, we investigate and validate several commonly used datasets -- deriving robust variants where necessary. We then perform experiments on these robust datasets for our own and several previously proposed models and find that ConvE achieves state-of-the-art Mean Reciprocal Rank across most datasets.

研究の動機と目的

• 大規模なグラフにスケーリング可能でありながら高い表現力を持つ、深層的でパラメータ効率の良い知識グラフリンク予測モデルの開発。
• 高次元の埋め込みに依存し、複雑なグラフ構造を扱いにくいという浅いモデル（例：DistMult）の限界を克服すること。
• WN15 や FB15k といった標準データセットにおける逆関係によるテストセット漏洩の影響を調査・定量すること。
• 公平なモデル評価を可能にするために、ベンチマークデータセットの漏洩に強い改変版を構築すること。
• ConvE や既存モデルをこれらの耐性を持つデータセットで評価し、平均逆順位（MRR）の観点からその優位性を確立すること。

提案手法

• エンティティと関係を学習可能な埋め込みとして表現し、それらを2次元行列に並べて2次元畳み込み処理を実行する。
• ReLU活性化関数を用いた1層の2次元畳み込み層を適用し、埋め込み行列から階層的かつ非線形的な特徴を抽出する。
• 訓練中の過学習を防ぐためにバッチ正規化とドロップアウトを適用する。
• 畳み込み層の出力を線形変換により埋め込み次元に射影する。
• 射影された特徴量とターゲットエンティティの埋め込みとの内積を計算してスコアを算出する。
• 効率的なネガティブサンプリングとバッチ処理により、学習を3倍高速化し、評価を300倍高速化する1-Nスコアリング手順を実装する。

実験結果

リサーチクエスチョン

• RQ1 深層的で2次元畳み込みアーキテクチャは、パラメータ数を減らしながらも、DistMult や他の浅いモデルを上回るリンク予測性能を達成できるか？
• RQ2 逆関係によるテストセット漏洩が、WN18 や FB15k におけるベンチマーク結果の妥当性をどの程度損なうか？
• RQ3 知識グラフにおけるノードの中心性や再帰的インデグリと、モデルの性能の相関関係はいかほどか？
• RQ4 ConvE のより深いアーキテクチャは、インデグリが大きい、またはPageRankが高いノードを有する複雑なグラフにおいて、測定可能な利点を提供するか？
• RQ5 標準的なデータセットから、漏洩に強く公平で意味のあるモデル評価が可能な耐性を持つ改変版を導出できるか？

主な発見

• ConvE は、FB15k-237 や WN18RR、YAGO3-10 を含む、ほとんどの耐性を持つベンチマークデータセットで最先端の平均逆順位（MRR）を達成した。
• FB15k-237 では、DistMult より8倍少ないパラメータ、R-GCN より17倍少ないパラメータで SOTA の MRR を達成した。
• 単純なルールベースのモデルが逆関係を利用することで、元の WN18 や FB15k で SOTA の性能を達成した。これは、テストセット漏洩が深刻であることを示している。
• 逆関係による漏洩を排除するために、WN18RR のような耐性を持つバージョンが作成された。これにより、モデルの公平な評価が可能になった。
• 高インデグリを持つグラフ（例：FB15k-237 や YAGO3-10）において、ConvE は DistMult を上回った。テストセットの平均PageRankと性能向上の間には相関係数 r=0.56 が観察された。
• ノードの中心性や再帰的インデグリが高くなるほど、ConvE と DistMult の性能差が拡大し、深層モデルが複雑なグラフ構造をより効果的に捉えられることを確認した。