[论文解读] Evaluating Logical Generalization in Graph Neural Networks

Koustuv Sinha, Shagun Sodhani+2 more|arXiv (Cornell University)|Mar 14, 2020

Advanced Graph Neural Networks参考文献 57被引用 15

一句话总结

本文提出了GraphLog，一个基于一阶逻辑的基准，用于评估图神经网络（GNNs）在合成知识图上的逻辑泛化能力。该基准在监督学习、多任务学习和持续学习设置下评估GNNs，发现注意力机制和模块化架构设计能显著提升泛化性能，而灾难性遗忘仍是持续学习中的主要挑战。

ABSTRACT

Recent research has highlighted the role of relational inductive biases in building learning agents that can generalize and reason in a compositional manner. However, while relational learning algorithms such as graph neural networks (GNNs) show promise, we do not understand how effectively these approaches can adapt to new tasks. In this work, we study the task of logical generalization using GNNs by designing a benchmark suite grounded in first-order logic. Our benchmark suite, GraphLog, requires that learning algorithms perform rule induction in different synthetic logics, represented as knowledge graphs. GraphLog consists of relation prediction tasks on 57 distinct logical domains. We use GraphLog to evaluate GNNs in three different setups: single-task supervised learning, multi-task pretraining, and continual learning. Unlike previous benchmarks, our approach allows us to precisely control the logical relationship between the different tasks. We find that the ability for models to generalize and adapt is strongly determined by the diversity of the logical rules they encounter during training, and our results highlight new challenges for the design of GNN models. We publicly release the dataset and code used to generate and interact with the dataset at https://www.cs.mcgill.ca/~ksinha4/graphlog.

研究动机与目标

• 研究图神经网络（GNNs）在多样化关系任务中逻辑泛化的程度。
• 设计一个受控基准，以实现对GNN中任务相似性和组合泛化性的精确分析。
• 评估架构选择（如注意力机制和模块化设计）对逻辑泛化性能的影响。
• 评估GNN在多任务和持续学习场景中的局限性，特别是关于灾难性遗忘的问题。
• 为未来关于GNN中逻辑推理的研究提供公开可获取的数据集和代码库。

提出的方法

• 该基准GraphLog基于一组一阶逻辑规则生成合成知识图，定义了具有重叠规则集的独立‘逻辑世界’。
• 每个世界生成多个缺少事实的知识图，构成需要通过逻辑组合求解的关系预测任务。
• 模型在三种设置下进行评估：单任务监督学习、跨多样化世界的多任务预训练，以及按顺序暴露于不同世界的持续学习。
• 架构组件包括具有边注意力的GAT（GAT-EGAT）以及为关系设计参数化表示函数的模块化结构。
• 通过调整不同世界之间逻辑规则的重叠程度来控制任务相似性，从而实现对迁移和泛化行为的系统性分析。
• 性能通过在未见规则组合上的平均准确率进行衡量，并对共享组件（表示函数与组合函数）进行消融研究。

实验结果

研究问题

• RQ1 在监督学习设置下，GNN在未见过的已知规则组合中泛化逻辑规则的表现如何？
• RQ2 在多样化的一阶逻辑世界集合上进行训练，在多任务泛化和适应性能方面能提升到何种程度？
• RQ3 注意力机制和模块化设计等架构选择如何影响GNN的逻辑泛化能力？
• RQ4 GNN在持续学习中存在哪些局限性，特别是在不同逻辑领域之间发生灾难性遗忘方面？
• RQ5 在持续学习场景中，共享特定组件（表示函数或组合函数）是否能缓解遗忘问题？

主要发现

• 采用边注意力和关系参数化表示函数的GAT-EGAT在逻辑泛化任务中始终优于其他GNN架构。
• 在20个多样化逻辑世界上进行训练可实现更优的泛化性能，优于训练更少或更多的世界，性能在容量饱和前达到峰值后下降。
• 所有评估模型在持续学习中均表现出灾难性遗忘，随着新世界的引入，对先前世界的表现迅速下降。
• 在世界间共享表示函数可减少灾难性遗忘，而共享组合函数则不能，表明表示函数比组合函数更具可迁移性。
• 在多任务预训练中，当在多样化分布上预训练时，模型对新且不相似世界具有更好的适应能力，表明多样性增强了可迁移性。
• 零样本适应性能随训练与评估世界之间相似度降低而下降，但微调性能随相似度降低而上升，表明多样性提升了适应能力。