[论文解读] Learning to Extrapolate Knowledge: Transductive Few-shot Out-of-Graph Link Prediction

Jinheon Baek, Dong Bok Lee+1 more|arXiv (Cornell University)|Jun 11, 2020

Advanced Graph Neural Networks参考文献 69被引用 32

一句话总结

一个元学习框架（Graph Extrapolation Networks，GEN）用于多关系图中的少样本外部-图（out-of-graph）链接预测，支持从未见到已见的归纳推断（inductive unseen-to-seen）和从未见到未见的转导推断（transductive unseen-to-unseen），并通过随机嵌入来处理不确定性。

ABSTRACT

Many practical graph problems, such as knowledge graph construction and drug-drug interaction prediction, require to handle multi-relational graphs. However, handling real-world multi-relational graphs with Graph Neural Networks (GNNs) is often challenging due to their evolving nature, as new entities (nodes) can emerge over time. Moreover, newly emerged entities often have few links, which makes the learning even more difficult. Motivated by this challenge, we introduce a realistic problem of few-shot out-of-graph link prediction, where we not only predict the links between the seen and unseen nodes as in a conventional out-of-knowledge link prediction task but also between the unseen nodes, with only few edges per node. We tackle this problem with a novel transductive meta-learning framework which we refer to as Graph Extrapolation Networks (GEN). GEN meta-learns both the node embedding network for inductive inference (seen-to-unseen) and the link prediction network for transductive inference (unseen-to-unseen). For transductive link prediction, we further propose a stochastic embedding layer to model uncertainty in the link prediction between unseen entities. We validate our model on multiple benchmark datasets for knowledge graph completion and drug-drug interaction prediction. The results show that our model significantly outperforms relevant baselines for out-of-graph link prediction tasks.

研究动机与目标

• 应对在演化的多关系图中，现实场景下的少-shot OOG（out-of-graph）链接预测。
• 学习从已见实体到未见实体的泛化嵌入和链接预测器（归纳），以及在未见实体之间的泛化（转导）。
• 通过一个随机嵌入层来处理未见实体表示的不确定性。
• 通过从高度实体向低度实体迁移知识来缓解长尾分布。
• 在知识图谱补全和药物-药物相互作用预测数据集上证明有效性。

提出的方法

• 提出 Graph Extrapolation Networks (GEN)，包含两个元学习的 GNN：一个用于 seen-to-unseen 链接的归纳 GEN，另一个用于 unseen-to-unseen 链接的转导 GEN。
• 在训练中通过情节任务模拟未见实体，其中未见实体被抽样为元测试样本式实体，来使用元学习目标。
• 归纳 GEN 通过关系特定变换从支持集计算未见实体嵌入，然后预测已见–未见链接（例如，与已见实体等的 e'）。
• 转导 GEN 增加第二层在未见实体之间传播信息，包括自连接项和邻居聚合。
• 通过将未见实体嵌入建模为高斯分布 q(phi'|S,phi)，均值为 mu、对角方差为 diag(sigma^2)，从 S 学习，在元训练（L=1）和元测试（L>1）期间实现蒙特卡洛采样的随机推断。
• 使用知识图谱的负采样 hinge 损失、药物-药物相互作用（DDI）的二元交叉熵损失进行训练，并辅以从高 shot 开始逐渐降低到少-shot 的长尾转移策略。

实验结果

研究问题

• RQ1 GEN 能否从已见实体外推知识到未见实体，以在多关系图中同时执行 seen-to-unseen 和 unseen-to-unseen 的链接预测？
• RQ2 与仅归纳方法相比，结合对未见实体的转导推理是否提升 OOG 链接预测？
• RQ3 对未见实体的随机嵌入是否有效建模不确定性并提升预测性能？
• RQ4 GEN 框架是否能够处理长尾分布并实现从高度实体向低度实体的知识迁移？
• RQ5 GEN 在知识图谱补全和药物-药物相互作用预测等多样领域是否有效？

主要发现

• GEN 在五个数据集的 OOG 链接预测上超越基线，包括知识图谱补全和 DDI 任务。
• 转导 GEN（T-GEN）的性能优于归纳 GEN（I-GEN），对 unseen-to-unseen 预测尤其显著。
• 与确定性变体相比，随机转导推断进一步改善 unseen-to-unseen 结果。
• GEN 即使在多-shot 设置和不同的 shot 大小下也表现有效，显示出超越少-shot 场景的鲁棒性。
• 通过带有未见实体情节仿真的 META-training 使模型能够在未见数据上无需从头重新训练就实现高效适应。