[论文解读] Graph Condensation for Graph Neural Networks

Wei Jin, Lingxiao Zhao+4 more|arXiv (Cornell University)|Oct 14, 2021

Advanced Graph Neural Networks参考文献 47被引用 20

一句话总结

本文提出图蒸馏（GCond），一种新颖的框架，可将大规模属性图蒸馏为小型合成图，同时保持图神经网络（GNN）的性能。通过优化梯度匹配损失，并将图结构参数化为可学习节点特征的函数，GCond 将图大小减少超过 99.9%，在 Flickr 上实现原始测试准确率的 99.8%，在 Reddit 上实现 95.3%，从而实现多种 GNN 架构的高效训练。

ABSTRACT

Given the prevalence of large-scale graphs in real-world applications, the storage and time for training neural models have raised increasing concerns. To alleviate the concerns, we propose and study the problem of graph condensation for graph neural networks (GNNs). Specifically, we aim to condense the large, original graph into a small, synthetic and highly-informative graph, such that GNNs trained on the small graph and large graph have comparable performance. We approach the condensation problem by imitating the GNN training trajectory on the original graph through the optimization of a gradient matching loss and design a strategy to condense node futures and structural information simultaneously. Extensive experiments have demonstrated the effectiveness of the proposed framework in condensing different graph datasets into informative smaller graphs. In particular, we are able to approximate the original test accuracy by 95.3% on Reddit, 99.8% on Flickr and 99.0% on Citeseer, while reducing their graph size by more than 99.9%, and the condensed graphs can be used to train various GNN architectures.Code is released at https://github.com/ChandlerBang/GCond.

研究动机与目标

• 为解决在包含数百万个节点和边的大规模图上训练 GNN 所带来的日益增长的计算与存储负担。
• 探索是否可以学习到一个小型合成图，以实现与在完整原始图上训练 GNN 相当的性能。
• 开发一种方法，同时压缩图结构和节点属性，以保持下游 GNN 的性能。
• 通过创建高度信息丰富、极简的合成图，实现图数据的高效训练、存储与检索。
• 展示压缩图在不同 GNN 架构及下游任务（如神经架构搜索）中的泛化能力。

提出的方法

• 该框架使用梯度匹配损失，使在压缩图上训练的 GNN 的训练轨迹与在原始图上训练的 GNN 保持一致。
• 压缩图中的图结构被参数化为可学习节点特征的可微函数，从而支持端到端优化。
• 压缩图中的节点特征被视为可优化的自由参数。
• 该方法联合优化合成节点特征、图结构（通过基于注意力的边权重）和标签，以最小化性能差距。
• 该方法通过反向传播进行训练，损失函数衡量在原始图和压缩图上 GNN 参数梯度之间的 L2 距离。
• 该框架在多个基准数据集（包括 Reddit、Flickr、Citeseer、Cora 和 Ogbg-arxiv）上进行评估，使用了多种 GNN 架构。

实验结果

研究问题

• RQ1 是否可以学习到一个小型合成图，使在该图上训练 GNN 的性能与在完整原始图上训练相当？
• RQ2 如何有效压缩图结构和节点属性，同时保持 GNN 性能？
• RQ3 压缩图在不同 GNN 架构和超参数下的泛化程度如何？
• RQ4 在神经架构搜索（NAS）设置中，基于压缩图训练的 GNN 性能与基于完整数据集训练的性能相比如何？
• RQ5 压缩图表现出哪些结构和统计特性？与原始图有何不同？

主要发现

• GCond 将图大小减少超过 99.9%，在 Reddit 上实现原始测试准确率的 95.3%，在 Flickr 上实现 99.8%，在 Citeseer 上实现 99.0%。
• 压缩图显著比原始图更密集，Reddit 上的稀疏度从 0.09% 降至 2.57%，Ogbg-arxiv 上从 0.01% 降至 3.25%。
• Cora、Citeseer 和 Flickr 的压缩图中，同质性模式得到良好保持，但在 Reddit 和 Ogbg-arxiv 中有所降低。
• Reddit 的压缩图呈现出星型结构，表明节点特征在信息传播中起主导作用。
• 在压缩图上训练的 GNN 在不同架构（包括 GCN、GraphSAGE 和 SGC）上泛化良好，性能下降极小。
• 在神经架构搜索（NAS）中，压缩数据集上的性能与完整数据集上的性能存在强相关性，验证了压缩图的实用性。