[论文解读] Graph Condensation via Receptive Field Distribution Matching

Mengyang Liu, Shanchuan Li+2 more|arXiv (Cornell University)|Jun 28, 2022

Advanced Graph Neural Networks被引用 5

一句话总结

该论文提出通过感受野分布匹配（GCDM）实现图蒸馏，该方法通过最大均值差异（MMD）匹配原始图的感受野分布，从而合成一个小型且信息量丰富的图。GCDM在图大小减少99%的情况下实现最先进性能，在Flickr数据集上达到最高97.6%的测试准确率，且图蒸馏速度比GCOND快3倍，同时在多种GNN架构上表现出良好的泛化能力。

ABSTRACT

Graph neural networks (GNNs) enable the analysis of graphs using deep learning, with promising results in capturing structured information in graphs. This paper focuses on creating a small graph to represent the original graph, so that GNNs trained on the size-reduced graph can make accurate predictions. We view the original graph as a distribution of receptive fields and aim to synthesize a small graph whose receptive fields share a similar distribution. Thus, we propose Graph Condesation via Receptive Field Distribution Matching (GCDM), which is accomplished by optimizing the synthetic graph through the use of a distribution matching loss quantified by maximum mean discrepancy (MMD). Additionally, we demonstrate that the synthetic graph generated by GCDM is highly generalizable to a variety of models in evaluation phase and that the condensing speed is significantly improved using this framework.

研究动机与目标

• 为解决在大规模图上训练GNN时计算成本过高的问题，尤其是在超参数调优和架构搜索过程中。
• 克服现有图蒸馏方法的局限性，如计算成本高以及在不同GNN架构间泛化能力差。
• 开发一种更高效且可泛化的图蒸馏框架，以在原始图上保持预测性能。
• 通过生成紧凑且具有代表性的合成图，实现更快的模型微调和神经架构搜索。

提出的方法

• 该方法将图蒸馏建模为一个分布匹配问题，将原始图视为感受野分布。
• 使用最大均值差异（MMD）来度量原始图与合成图之间感受野分布的距离。
• 通过端到端优化最小化MMD损失来生成合成图，无需使用二阶梯度或依赖特定模型的训练动态。
• 感受野基于GNN的消息传递机制定义，能够捕捉节点之间的结构与特征依赖关系。
• 该方法具有架构无关性，因为在蒸馏过程中不依赖于特定GNN模型的梯度。
• 通过生成小型且高保真的合成图，该框架支持高效的训练与推理，同时保留原始图的归纳偏置。

实验结果

研究问题

• RQ1 通过MMD进行感受野分布匹配能否生成一个预测性能与原始图相当的合成图？
• RQ2 GCDM在不同GNN架构（如GIN、GCN和SAGE）上的泛化能力如何比较？
• RQ3 在蒸馏过程中消除二阶梯度计算是否能显著提升训练效率而不损失准确性？
• RQ4 与现有方法（如GCOND）相比，GCDM在合成图规模增大时的性能表现如何？
• RQ5 对压缩图中节点特征的可视化是否能揭示其相比基线方法具有更优的结构聚类效果？

主要发现

• 在Flickr数据集上，GCDM在图大小减少99.5%的情况下，仍达到原始模型97.6%的测试准确率。
• 在Ogbn-arxiv数据集上，GCDM在仅1%原始图大小下达到90.6%的测试准确率，泛化性能优于GCOND。
• 对于Cora、CiteSeer和PubMed数据集，GCDM在图大小减少99%的情况下实现99%的测试准确率，表明其在引文网络上具有强大性能。
• 与GCOND相比，GCDM将蒸馏时间减少了70%以上——在ogbn-arxiv上训练50个epoch仅需1,782 GPU秒，而GCOND需5,960 GPU秒。
• 该方法在不同GNN模型间泛化良好：在Flickr数据集上，GCDM使用GIN模型达到42.5%准确率，而GCOND仅为38.8%。
• 可视化结果表明，GCDM生成的图通常比GCOND产生更紧密的节点特征表示聚类，表明其具有更好的结构保留能力。