[論文レビュー] Towards Foundation Models for Knowledge Graph Reasoning

Mikhail Galkin, Xinyu Yuan+3 more|arXiv (Cornell University)|Oct 6, 2023

Advanced Graph Neural Networks被引用数 9

ひとこと要約

Ultra は普遍的で転用可能な知識グラフ表現を学習し、任意のエンティティおよびリレーション語彙を持つ見たことのないグラフへのゼロショット一般化を可能にする。少数のグラフで事前学習を行い、その後ファインチューニングを行うことで、グラフ特化ベースラインより強い利得を得る。

ABSTRACT

Foundation models in language and vision have the ability to run inference on any textual and visual inputs thanks to the transferable representations such as a vocabulary of tokens in language. Knowledge graphs (KGs) have different entity and relation vocabularies that generally do not overlap. The key challenge of designing foundation models on KGs is to learn such transferable representations that enable inference on any graph with arbitrary entity and relation vocabularies. In this work, we make a step towards such foundation models and present ULTRA, an approach for learning universal and transferable graph representations. ULTRA builds relational representations as a function conditioned on their interactions. Such a conditioning strategy allows a pre-trained ULTRA model to inductively generalize to any unseen KG with any relation vocabulary and to be fine-tuned on any graph. Conducting link prediction experiments on 57 different KGs, we find that the zero-shot inductive inference performance of a single pre-trained ULTRA model on unseen graphs of various sizes is often on par or better than strong baselines trained on specific graphs. Fine-tuning further boosts the performance.

研究の動機と目的

• 動機: 異なる語彙を持つ知識グラフ間で転移学習を可能にする。
• 目標: 未知のエンティティとリレーションに一般化する不変のリレーショナル構造表現を学習する。
• 狙い: 下流のグラフで事前学習とファインチューニングが可能な基盤モデル風の知識グラフ推論システムを構築する。
• 大規模な知識グラフデータセット群に対して、ゼロショット転送とファインチューニングの利点を示す。

提案手法

• 任意の知識グラフから四つの基本的な相互作用を捉えるリレーションのグラフを構築する: テイルからヘッド、ヘッドからヘッド、ヘッドからテイル、テイルからテイル。
• クエリリレーションに条件付けされたリレーショングラフ上のラベリング手法を用いて、条件付き相対リレーション表現を学習する。
• これらの条件付きリレーション表現を元のグラフ上の誘導リンク予測器への入力として用い、知識グラフ補完を行う。
• 複数の知識グラフ上で Ultra を事前学習し、転送可能なリレーショナル不変性を捉える。ターゲットグラフでファインチューニングして性能を向上させる。
• パラメータ化はグラフ特有のエンティティ/リレーション埋め込みや入力特徴を避け、ゼロショット一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 単一の事前学習済み Ultra モデルは、任意のリレーション語彙を持つ未知の知識グラフに帰納的に一般化できるか（ゼロショット）？
• RQ2 ゼロショット転送後にターゲットグラフで Ultra をファインチューニングすることによって得られる利得は何か。
• RQ3 事前学習済みの Ultra は、各ターゲットグラフでゼロショットで訓練したモデルとどう比較されるか？
• RQ4 事前学習グラフの混合を増やすとゼロショット転送性能は向上するか？

主な発見

• ゼロショット Ultra は、特定のグラフで訓練された強力なベースラインと同等かそれを上回ることが多く、特に小規模な帰納的グラフで顕著である。
• ファインチューニングはゼロショット結果に加えて追加の性能向上をもたらす。
• 平均して、Ultra はゼロショットシナリオで監督付きベースラインを15%上回る。
• ファインチューニングは評価対象グラフ全体で平均約10%の相対的改善をもたらす。
• Ultra は50以上のKGベンチマークへ転送を示し（ノード1k–120k、エッジ5k–1M）、競争力のある結果を示す。