[論文レビュー] Learning to Extrapolate Knowledge: Transductive Few-shot Out-of-Graph Link Prediction

Jinheon Baek, Dong Bok Lee+1 more|arXiv (Cornell University)|Jun 11, 2020

Advanced Graph Neural Networks参考文献 69被引用数 32

ひとこと要約

多関係グラフにおけるグラフ外少数ショットリンク予測のためのメタ学習フレームワーク（Graph Extrapolation Networks, GEN）。帰納的な unseen-to-seen および推論的 unseen-to-unseen のリンク予測を可能にし、不確実性に対処するための確率的埋め込みを備える。

ABSTRACT

Many practical graph problems, such as knowledge graph construction and drug-drug interaction prediction, require to handle multi-relational graphs. However, handling real-world multi-relational graphs with Graph Neural Networks (GNNs) is often challenging due to their evolving nature, as new entities (nodes) can emerge over time. Moreover, newly emerged entities often have few links, which makes the learning even more difficult. Motivated by this challenge, we introduce a realistic problem of few-shot out-of-graph link prediction, where we not only predict the links between the seen and unseen nodes as in a conventional out-of-knowledge link prediction task but also between the unseen nodes, with only few edges per node. We tackle this problem with a novel transductive meta-learning framework which we refer to as Graph Extrapolation Networks (GEN). GEN meta-learns both the node embedding network for inductive inference (seen-to-unseen) and the link prediction network for transductive inference (unseen-to-unseen). For transductive link prediction, we further propose a stochastic embedding layer to model uncertainty in the link prediction between unseen entities. We validate our model on multiple benchmark datasets for knowledge graph completion and drug-drug interaction prediction. The results show that our model significantly outperforms relevant baselines for out-of-graph link prediction tasks.

研究の動機と目的

• 進化する多関係グラフにおける現実的な設定であるOOG（out-of-graph）リンク予測の少数ショットという設定に対処する。
• 見られたエンティティから未見のエンティティへ一般化する埋め込みとリンク予測機を学習する（帰納的）。また未見エンティティ間の一般化（推論的）も行う。
• 確率的埋め込み層を介して未見エンティティ表現の不確実性を扱う。
• 高次数エンティティから低次数エンティティへ知識を転移して長尾分布を緩和する。
• 知識グラフ補完と薬物間相互作用予測データセットで有効性を示す。

提案手法

• 2つのメタ学習済みGNNを備えたGraph Extrapolation Networks (GEN) を提案する。見られた〜未見リンクには帰納的GEN、未見〜未見リンクには推論的GENを適用。
• 訓練中に未見エンティティをメタテスト様のエンティティとしてサンプリングするエピソードタスクを用いて、未見エンティティをシミュレートするメタ学習目的を用いる。
• 帰納的GENは、サポートセットから関係特定の変換を通じて未見エンティティの埋め込みを計算し、次に seen–unseen リンクを予測する（例: 見られたエンティティと未見エンティティの組み合わせ e' with seen e）。
• 推論的GENは、未見エンティティ間の情報伝搬を行う第2層を追加し、自己結合項と近傍集約を含む。
• 未知エンティティの埋め込みを平均muと対角行列sigma^2をパラメータとするガウス分布q(phi'|S,phi)として確率的推論を組み込み、Sから学習されたmuとsigma^2を用い、メタ訓練時（L=1）とメタテスト時（L>1）のMCサンプリングを可能にする。
• KGのネガティブサンプリングに対するヒンジ損失とDDIに対する二値クロスエントロピーで訓練し、長尾転移戦略を追加。これはより多くのショットから始めて徐々に少数ショット設定へ低減する。

実験結果

リサーチクエスチョン

• RQ1 GENは、 seen to unseen および unseen to unseen のリンク予測の両方を、多関係グラフで見られたエンティティから未見エンティティへ知識を外挿することができるか？
• RQ2 未見エンティティに対する推論を組み込むことで、帰納的のみのアプローチと比べてグラフ外OOGリンク予測が改善されるか？
• RQ3 未見エンティティの確率的埋め込みは不確実性を効果的にモデリングし、予測性能を向上させるか？
• RQ4 GENは長尾分布を扱い、ハイ・ディグリーエンティティからロー・ディグリーエンティティへ知識を転移できるか？
• RQ5 GENは知識グラフ補完や薬物間相互作用予測など、多様なドメインで有効か？

主な発見

• GENは、KG補完およびDDIタスクを含む5つのデータセットでOOGリンク予測のベースラインを上回る。
• 推論的GEN（T-GEN）は帰納的GEN（I-GEN）より強い性能を示し、特に unseen-to-unseen 予測で顕著。
• 確率的推論を用いた推論的推定は、決定論的バリアントと比べて unseen-to-unseen の結果をさらに改善する。
• GENは多ショット設定やショットサイズの変化にも依然として効果的であり、少数ショットを超えた頑健性を示す。
• META-training with episodic simulation of unseen entities enables efficient adaptation without retraining from scratch on unseen data.