[论文解读] Do We Need Anisotropic Graph Neural Networks?

Shyam A. Tailor, Felix L. Opolka+2 more|arXiv (Cornell University)|Apr 3, 2021

Advanced Graph Neural Networks被引用 10

一句话总结

本文提出高效图卷积（EGC），一种各向同性图神经网络，在六个多样化的基准上超越了当前最先进的各向异性模型（如GAT和PNA）。通过使用空间可变的自适应滤波器，EGC在更低的内存（O(V)）和延迟下实现了更高的准确率，挑战了以往认为各向异性对性能至关重要这一普遍观点。

ABSTRACT

Common wisdom in the graph neural network (GNN) community dictates that anisotropic models -- in which messages sent between nodes are a function of both the source and target node -- are required to achieve state-of-the-art performance. Benchmarks to date have demonstrated that these models perform better than comparable isotropic models -- where messages are a function of the source node only. In this work we provide empirical evidence challenging this narrative: we propose an isotropic GNN, which we call Efficient Graph Convolution (EGC), that consistently outperforms comparable anisotropic models, including the popular GAT or PNA architectures by using spatially-varying adaptive filters. In addition to raising important questions for the GNN community, our work has significant real-world implications for efficiency. EGC achieves higher model accuracy, with lower memory consumption and latency, along with characteristics suited to accelerator implementation, while being a drop-in replacement for existing architectures. As an isotropic model, it requires memory proportional to the number of vertices in the graph ($\mathcal{O}(V)$); in contrast, anisotropic models require memory proportional to the number of edges ($\mathcal{O}(E)$). We demonstrate that EGC outperforms existing approaches across 6 large and diverse benchmark datasets, and conclude by discussing questions that our work raise for the community going forward. Code and pretrained models for our experiments are provided at https://github.com/shyam196/egc.

研究动机与目标

• 挑战广泛持有的观点，即各向异性GNN对实现最先进性能是必要的。
• 设计一种各向同性GNN架构，其准确率与或超过各向异性模型，同时提升效率。
• 证明可将内存和延迟从O(E)降低至O(V)而不损失性能。
• 提供一种可直接替换现有GNN层的方案，具备更高的资源效率和准确率。
• 促使社区在各向同性模型潜力的背景下，重新审视基准数据集和模型设计原则。

提出的方法

• 提出高效图卷积（EGC），一种各向同性GNN，利用空间可变的自适应滤波器学习节点特定的聚合权重。
• 采用仅依赖源节点的消息传递机制，实现O(V)的内存消耗，而非O(E)。
• 引入可学习的滤波机制，基于局部图结构自适应调整，提升表达能力，而无需使用各向异性消息函数。
• 支持EGC层的空间和谱解释，使其建立在成熟的GNN理论基础之上。
• 在推理时支持聚合器融合，仅增加14%的开销，即可进一步降低延迟。
• 可无缝集成至现有GNN框架（包括PyTorch Geometric），作为即插即用的替代方案。

实验结果

研究问题

• RQ1 各向同性GNN是否能在不依赖各向异性消息函数的前提下实现最先进性能？
• RQ2 在真实场景中，各向异性GNN的O(E)内存和延迟开销是否由性能提升所合理化？
• RQ3 在各向同性框架中，自适应的空间可变滤波器能否匹配或超越各向异性模型的表达能力？
• RQ4 在现实图中，特别是同质图中，各向异性模型的理论表达能力在多大程度上带来实际收益？
• RQ5 是否可通过架构创新显著提升模型效率，而无需牺牲准确率？

主要发现

• EGC在全部六个基准数据集上均优于GAT和PNA，包括直推和归纳设置，所有任务中准确率均更高。
• 在Arxiv数据集上，EGC-M实现84.7%的准确率，参数量仅406.8万，而PNA实现89.3%准确率但参数量达1453.3万，表明EGC具有更优的参数效率。
• 在Arxiv上，EGC-M相比PNA将内存消耗降低最多6.5倍，延迟降低最多6.7倍，归因于O(V)内存扩展而非O(E)。
• 该模型在所有基线中均实现了更低的推理延迟和内存占用，GPU和CPU测量结果均证实了显著的效率提升。
• 聚合器融合仅增加14%的推理开销，同时保持性能，使实际部署成本极低。
• EGC已集成至PyTorch Geometric，证实其实际可行性及与现有GNN生态系统的兼容性。