[論文レビュー] Node Classification Meets Link Prediction on Knowledge Graphs

Ralph Abboud, İsmail İlkan Ceylan|arXiv (Cornell University)|Jun 14, 2021

Advanced Graph Neural Networks参考文献 36被引用数 4

ひとこと要約

本稿では、MLP-Xと呼ばれるフレームワークを提案することで、不完全な知識グラフにおける推論的ノード分類とリンク予測を統一する。このフレームワークは、浅い埋め込みモデルに多層パーセプトロン（MLP）を追加することで、ノード特徴量と関係構造を共同で活用できるように拡張する。主な貢献は、WikiAlumniと呼ばれる新しいベンチマークデータセットの構築であり、MLP-Xモデルはノード分類およびリンク予測の両方でGNNを上回る性能を示し、特に関係的不完全性が顕著な状況下で顕著な優位性を示す。これは、GNNが採用する閉世界仮説（CWA）ではなく、オープンワールド推論（OWA）の利点を裏付ける。

ABSTRACT

Node classification and link prediction are widely studied in graph representation learning. While both transductive node classification and link prediction operate over a single input graph, they have so far been studied separately. Node classification models take an input graph with node features and incomplete node labels, and implicitly assume that the graph is relationally complete, i.e., no edges are missing. By contrast, link prediction models are solely motivated by relational incompleteness of the input graphs, and do not typically leverage node features or classes. We propose a unifying perspective and study the problems of (i) transductive node classification over incomplete graphs and (ii) link prediction over graphs with node features, introduce a new dataset for this setting, WikiAlumni, and conduct an extensive benchmarking study.

研究の動機と目的

• 既存のノード分類およびリンク予測手法におけるギャップを埋めるために、不完全グラフにおける推論的ノード分類とノード特徴量を用いたリンク予測を検討すること。
• ノード特徴量と関係構造を共同で活用することで、ノード分類とリンク予測の両方を最適化する統一フレームワークを提案すること。
• 実世界の特徴量、豊富な関係、バランスの取れたクラスを備えた、ノード分類とリンク予測に適した新しい知識グラフベンチマーク、WikiAlumniを導入すること。
• 関係的不完全性と特徴量の可用性の変動に応じて、MLP-XモデルとGNNの性能を評価すること。
• ノード分類とリンク予測の相互作用、特にモデルの誘導的バイアスが引き起こすクラスタリング効果が性能に与える影響を調査すること。

提案手法

• 任意の浅い埋め込みモデルXを拡張するMLP-Xを提案。ノード特徴量を処理する多層パーセプトロン（MLP）を追加することで、ノード分類とリンク予測の両方を共同で最適化可能にする。
• Wikipediaの大学院生データを基に、異種的かつ多関係的知識グラフとしてWikiAlumniを構築。クラス予測用にエンティティ特徴量と単項事実（unary facts）を強化して追加。
• モデルの表現力に応じて、ノード分類には交差エントロピー損失、リンク予測にはネガティブサンプリングまたは交差エントロピーを用いてモデルを訓練。
• ノード分類とリンク予測を統合した統一された訓練目的関数を採用。これにより、ラベル付きクラスと欠落した関係の両方から学習可能になる。
• 系統的にエッジをマスキングすることで、関係的不完全性を制御的に導入し、両タスクにおける性能を測定。
• グラフの不完全性と特徴量の可用性の変動に応じて、MLP-Xモデルと標準的なGNN、およびベースラインの浅いモデル（例：TransE, RotatE, BoxE）を比較。

実験結果

リサーチクエスチョン

• RQ1 ノード特徴量と欠落したエッジを同時に学習させることで、ノード分類モデルの関係的不完全性に対するロバスト性を向上させることができるか？
• RQ2 ノード特徴量を統合することで、特にノード分類と組み合わせた場合に、知識グラフにおけるリンク予測性能が向上するか？
• RQ3 異なる埋め込みモデル（例：TransE や RotatE のクラスタリング特性）の誘導的バイアスが、ノード分類とリンク予測の性能のトレードオフにどのように影響するか？
• RQ4 MLP-Xモデルのオープンワールド仮説（OWA）が、GNNの閉世界仮説（CWA）を上回る程度はどの程度か？特に不完全なグラフ環境下で。
• RQ5 MLP-Xのような統一フレームワークが、実世界の知識グラフにおいてノード分類とリンク予測の両タスクで最先端の性能を達成できるか？

主な発見

• MLP-Xモデルは、関係的不完全性が高まるにつれて、特にWikiAlumniにおける推論的ノード分類でGNNを上回り、欠落したエッジに対して高いロバスト性を示した。
• MLP-Xモデルは、ノード特徴量を活用することで、ベースラインモデルに比べてリンク予測性能を顕著に向上させた。特に表現力が完全なMLP-BoxEではその恩恵が顕著に現れた。
• MLP-RotatEとMLP-TransEは、その誘導的バイアスによりクラスタリングを示し、ノード分類性能は向上するが、細粒度のリンク予測性能は低下する傾向にあり、性能のトレードオフを示した。
• MLP-BoxEは、完全な表現力によりクラスタリングを回避し、交差エントロピー損失がスコアリング機構とより整合するため、あらゆる不完全性レベルで最高の全体的性能を達成した。
• WikiAlumniデータセットは、ノード分類とリンク予測の両タスクに適しており、実世界の特徴量、バランスの取れたクラス、豊富な関係的構造を備えており、ベンチマークに適している。
• MLP-Xによるノード分類とリンク予測の共同最適化が、独立したタスク学習よりも強固で汎用性の高い表現を学習できることを実証した。