[论文解读] Graph Neural Networks with Adaptive Readouts

David Buterez, Jon Paul Janet+3 more|arXiv (Cornell University)|Nov 9, 2022

Machine Learning in Materials Science被引用 25

一句话总结

这篇论文研究用于图神经网络的自适应神经读出（读出层/读出函数）以放宽置换不变量性，展示了在 40+ 个数据集和不同卷积算子上的性能提升。

ABSTRACT

An effective aggregation of node features into a graph-level representation via readout functions is an essential step in numerous learning tasks involving graph neural networks. Typically, readouts are simple and non-adaptive functions designed such that the resulting hypothesis space is permutation invariant. Prior work on deep sets indicates that such readouts might require complex node embeddings that can be difficult to learn via standard neighborhood aggregation schemes. Motivated by this, we investigate the potential of adaptive readouts given by neural networks that do not necessarily give rise to permutation invariant hypothesis spaces. We argue that in some problems such as binding affinity prediction where molecules are typically presented in a canonical form it might be possible to relax the constraints on permutation invariance of the hypothesis space and learn a more effective model of the affinity by employing an adaptive readout function. Our empirical results demonstrate the effectiveness of neural readouts on more than 40 datasets spanning different domains and graph characteristics. Moreover, we observe a consistent improvement over standard readouts (i.e., sum, max, and mean) relative to the number of neighborhood aggregation iterations and different convolutional operators.

研究动机与目标

• 激发并评估自适应（神经）读出是否能在 GNN 中相对于标准的置换不变量读出带来收益。
• 检视放宽置换不变量性如何影响图任务中的学习与模型容量。
• 评估在多样数据集与图特征上的性能提升。
• 研究自适应读出相对于邻域聚合迭代次数和卷积算子对性能的影响。

提出的方法

• 提出将节点特征自适应聚合为图级表示的神经读出。
• 将自适应读出与传统的置换不变量读出（和、最大、平均）进行对比。
• 在多种 GNN 架构和广泛数据集上进行评估。
• 将性能作为邻域聚合深度和卷积算子选择的函数进行分析。
• 通过实证实验确定何时自适应读出带来收益。

实验结果

研究问题

• RQ1 在置换不变量约束下，是否自适应神经读出能改进图级表示相较于常规读出？
• RQ2 在哪些设置（数据集、图特征）自适应读出能带来最大提升？
• RQ3 自适应读出在邻域聚合迭代次数和卷积算子选择上的性能如何变化？
• RQ4 当分子或图具有规范表示时，自适应读出能否实现更好的学习？
• RQ5 自适应读出在超出标准基准的任务上的泛化行为如何？

主要发现

• 自适应神经读出在超过 40 个数据集上相比标准读出（和、最大、平均）带来提升。
• 提升在不同的聚合迭代次数和各种卷积算子下是一致的。
• 当规范表示较为常见的问题中收益显现，表明放宽置换约束有助于学习。
• 神经读出展示了有效的模型容量，而不要求严格的置换不变量假设空间。
• 实证结果涵盖多样的图领域，强调自适应读出的广泛适用性。