[论文解读] Graph convolutions that can finally model local structure

Rémy Brossard, Oriel Frigo+1 more|arXiv (Cornell University)|Nov 30, 2020

Machine Learning in Materials Science参考文献 26被引用 5

一句话总结

该论文提出 GINE+，对图同构网络（GIN）卷积进行简单改进，通过非平凡方式扩大感受野，增强局部结构建模能力，从而实现对分子图中小型环的精确检测。该方法在大规模 PCBA 数据集上实现了最先进性能，且计算和参数开销极低。

ABSTRACT

Despite quick progress in the last few years, recent studies have shown that modern graph neural networks can still fail at very simple tasks, like detecting small cycles. This hints at the fact that current networks fail to catch information about the local structure, which is problematic if the downstream task heavily relies on graph substructure analysis, as in the context of chemistry. We propose a very simple correction to the now standard GIN convolution that enables the network to detect small cycles with nearly no cost in terms of computation time and number of parameters. Tested on real life molecule property datasets, our model consistently improves performance on large multi-tasked datasets over all baselines, both globally and on a per-task setting.

研究动机与目标

• 解决现代图神经网络在检测小环方面的局限性，这是分子图分析中的一个根本性问题。
• 在不显著增加模型复杂度的前提下，增强 GIN 对局部结构检测的表达能力。
• 在保持对大规模多任务分子数据集（如 PCBA）强泛化能力的同时，避免在小数据集上过拟合。
• 提供一种轻量化、高效的解决方案，以改善图学习下游任务中的节点表示。

提出的方法

• 通过引入一种非平凡的、半径递增机制，对标准 GIN 卷积进行修改，以受控方式扩展感受野。
• 保留原始 GIN 的消息传递框架，但通过引入更大邻域的信息来增强聚合，而不扩大全局感受野。
• 通过每层增加一个可学习参数的简单架构修改实现，最大限度减少参数增长。
• 该方法确保节点嵌入能更充分地反映局部子结构信息，尤其是对分子化学至关重要的小环。
• 模型的计算成本与 GIN 相同，仅增加 3–15% 的推理时间。
• 该方法在多任务设置下进行评估，应用于小数据集和大规模 PCBA 数据集，并通过数据增强实现迁移学习。

实验结果

研究问题

• RQ1 对 GIN 进行最小的架构修改，是否能显著提升其在分子图中检测小环的能力？
• RQ2 以非平凡方式增加局部感受野，是否能提升在大规模多任务分子性质预测基准上的性能？
• RQ3 改进的局部结构建模是否能带来更好的泛化能力和跨任务迁移学习效果，而不会在小数据集上过拟合？
• RQ4 性能提升是否可在计算时间与模型参数量几乎不增加的情况下实现？

主要发现

• GINE+ 在 OGB PCBA 基准上达到最先进性能，在发表时排名第一。
• 该模型在大规模多任务数据集上表现出一致的性能提升，尤其在使用 PCBA 数据进行训练数据增强时效果更明显。
• 在小数据集上，GINE+ 的表现略逊于使用虚拟节点的 GINE，表明若管理不当，增强的表达能力可能导致过拟合。
• GINE+ 的性能提升仅带来 3–15% 的计算时间增加，且参数数量几乎无增长。
• 该方法成功增强了节点嵌入，使其能更好地捕捉局部结构信息（如小环），这对化学图分析至关重要。
• 该模型在多任务学习中表现出强大的可迁移性，平均性能和各项任务性能均得到提升。