[論文レビュー] Revisiting Simple Neural Networks for Learning Representations of Knowledge Graphs

Srinivas Ravishankar, Chandrahas+1 more|arXiv (Cornell University)|Nov 15, 2017

Advanced Graph Neural Networks参考文献 16被引用数 7

ひとこと要約

この論文は、異なるデータ特性に適応する柔軟なスコア関数を学習することで、複数の知識グラフベンチマークデータセットにおいて準SOTA（SOTAに近い）性能を達成できる単純な順方向型ニューラルネットワーク、ER-MLPの有効性を示している。その単純さにもかかわらず、ER-MLPは、逆関係バイアスの有無に関わらず、ComplEx や HolE といった複雑なモデルと同等またはそれ以上の性能を発揮している。

ABSTRACT

We address the problem of learning vector representations for entities and relations in Knowledge Graphs (KGs) for Knowledge Base Completion (KBC). This problem has received significant attention in the past few years and multiple methods have been proposed. Most of the existing methods in the literature use a predefined characteristic scoring function for evaluating the correctness of KG triples. These scoring functions distinguish correct triples (high score) from incorrect ones (low score). However, their performance vary across different datasets. In this work, we demonstrate that a simple neural network based score function can consistently achieve near start-of-the-art performance on multiple datasets. We also quantitatively demonstrate biases in standard benchmark datasets, and highlight the need to perform evaluation spanning various datasets.

研究の動機と目的

• 異なるベンチマークデータセットにおける最先端の知識グラフ埋め込みモデルの一般化能力を評価すること。
• WN18 や FB15k といった標準的なベンチマークデータセットに、逆関係バイアスが存在するか、その影響を調査すること。
• 複雑なアーキテクチャ設計に依存せずに、複数のデータセットで競争力のある性能を達成できる単純なニューラルネットワークベースのスコア関数を示すこと。
• モデルが異なるグラフ特性に耐性を持つように、多様なデータセットにわたる評価を広く行うべきであることを提唱すること。
• 近年の文献においてはその存在が軽視されているにもかかわらず、強力な実証的結果を示している単純なニューラルモデルの役割を再評価すること。

提案手法

• エンティティおよび関係埋め込みを入力として受け取り、トリプルスコアを出力する2層の順方向型ニューラルネットワークであるER-MLPを提案する。
• スコア関数と埋め込みを同時に最適化するため、ネガティブサンプリングに基づく損失関数を用いてエンドツーエンドでモデルを学習する。
• 入力埋め込みに2次元畳み込み層を適用して特徴抽出を向上させる、ER-MLP-2dという変種を導入する。
• TransE と同様のペairワイズランクイング損失関数を用いてモデルを最適化するが、固定式ではなく学習可能な非線形スコア関数を採用する。
• 特定の関係タイプや対称性に偏らないように、エンティティおよび関係埋め込みを入力特徴として用いる。
• WN18, FB15k, FB15k-237, WN18RR, FB13, WN11 の6つのデータセットを用いて、さまざまなデータバイアスにわたる一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 異なる逆関係バイアス度合いを示すベンチマークデータセット（WN18 や FB15k など）において、最先端の知識グラフ埋め込みモデルの性能はどのように変化するか？
• RQ2 単純なニューラルネットワークベースのスコア関数は、ComplEx や HolE といった複雑で事前に定義されたスコア関数を凌駕するか、同等の性能を発揮できるか？
• RQ3 WN18 や FB15k のような標準ベンチマークに内在する逆関係バイアスが、モデルの一般化および耐性評価をどれほど歪めているか？
• RQ4 単純なニューラルネットワークアーキテクチャに学習可能な非線形スコア関数を導入することで、固定スコア関数よりも異なるグラフ構造に適応できるか？
• RQ5 ER-MLP のような最小限のニューラルアーキテクチャは、アーキテクチャの複雑さに依存せず、競争力のある性能を達成できるか。また、現在の研究においてその価値が軽視されているとされるのはなぜか？

主な発見

• FB15K-237 において、ER-MLP は Hits@10 54.0、MRR 0.342 を達成し、ComplEx (50.7, 0.326) や HolE (47.0, 0.298) を上回り、挑戦的でバイアスのないデータセットにおける強力な一般化能力を示している。
• WN11 では、ER-MLP が Hits@10 14.01、MRR 0.071 を達成し、ComplEx (10.9, 0.071) や HolE (10.48, 0.059) を大きく上回り、低リソースでスパースなグラフにおいて優れた性能を示している。
• FB13 では、ER-MLP が Hits@10 63.13、MRR 0.479 を達成し、ComplEx (51.38, 0.382) や HolE (54.87, 0.392) を上回り、複雑な多関係型データセットでも一貫した向上を示している。
• WN18 では、ER-MLP が MRR 0.895 を達成し、ComplEx (0.938) や HolE (0.934) に近く、バイアスがあるデータセットでも強力な性能を示しており、従来の線形モデルが優位に立つ分野でも健在である。
• モデルの性能は、逆関係バイアスの有無に関わらず安定しており、データセット固有のアーチファクトに依存していないことが示された。
• 結果から、単純なニューラルモデルであるER-MLP は、強力な実証的性能と多様なグラフ構造への適応性を有しているにもかかわらず、現在の文献においては活用が不十分であることが明らかになった。