[论文解读] Does Graph Distillation See Like Vision Dataset Counterpart?

Beining Yang, Kai Wang+6 more|arXiv (Cornell University)|Oct 13, 2023

Advanced Graph Neural Networks被引用 4

一句话总结

本文提出结构广播图数据集蒸馏（SGDD），一种新颖的图压缩方法，通过在生成合成图时广播邻接矩阵，显式保留原始图结构。通过谱分析最小化拉普拉斯能量分布（LED）偏移，SGDD在9个数据集上实现最先进性能，以1000倍缩小的图尺寸维持原始YelpChi测试准确率的98.6%，并将LED偏移降低17.6%–31.4%。

ABSTRACT

Training on large-scale graphs has achieved remarkable results in graph representation learning, but its cost and storage have attracted increasing concerns. Existing graph condensation methods primarily focus on optimizing the feature matrices of condensed graphs while overlooking the impact of the structure information from the original graphs. To investigate the impact of the structure information, we conduct analysis from the spectral domain and empirically identify substantial Laplacian Energy Distribution (LED) shifts in previous works. Such shifts lead to poor performance in cross-architecture generalization and specific tasks, including anomaly detection and link prediction. In this paper, we propose a novel Structure-broadcasting Graph Dataset Distillation (SGDD) scheme for broadcasting the original structure information to the generation of the synthetic one, which explicitly prevents overlooking the original structure information. Theoretically, the synthetic graphs by SGDD are expected to have smaller LED shifts than previous works, leading to superior performance in both cross-architecture settings and specific tasks. We validate the proposed SGDD across 9 datasets and achieve state-of-the-art results on all of them: for example, on the YelpChi dataset, our approach maintains 98.6% test accuracy of training on the original graph dataset with 1,000 times saving on the scale of the graph. Moreover, we empirically evaluate there exist 17.6% ~ 31.4% reductions in LED shift crossing 9 datasets. Extensive experiments and analysis verify the effectiveness and necessity of the proposed designs. The code is available in the GitHub repository: https://github.com/RingBDStack/SGDD.

研究动机与目标

• 为解决现有图蒸馏方法在生成合成图时忽略原始结构信息的局限性。
• 探究谱结构偏移（特别是拉普拉斯能量分布（LED）偏移）对跨架构泛化能力和下游任务性能的影响。
• 开发一种显式将原始图结构广播至合成图的方法，以减少LED偏移并提升泛化能力。
• 通过实验和理论分析验证图结构保留的必要性与有效性。
• 在极小图尺寸下实现泛化能力和特定任务（如异常检测和链接预测）的最先进性能。

提出的方法

• 提出SGDD，一种结构广播框架，直接将原始邻接矩阵A用于引导合成邻接矩阵A′的生成，而非从特征中推断A′。
• 引入基于谱的优化目标，以最小化原始图与压缩图之间的拉普拉斯能量分布（LED）偏移，确保结构保真度。
• 在特征上采用梯度匹配策略，同时通过直接广播A显式保留结构拓扑，实现结构学习与基于特征的重建解耦。
• 使用带系数β的正则化目标，以控制压缩图的稀疏性，确保鲁棒性与可扩展性。
• 在压缩过程中应用基于最优传输的采样方法，以降低计算成本，同时保持性能。
• 采用谱分析与偏移系数（SC）作为LED偏移的代理指标，对结构保留进行定量评估。

实验结果

研究问题

• RQ1 现有图蒸馏方法在多大程度上未能保留原始图结构？这种缺失对性能有何影响？
• RQ2 拉普拉斯能量分布（LED）偏移与图蒸馏中跨架构泛化性能之间存在何种关系？
• RQ3 显式广播原始图结构是否能提升链接预测和异常检测等下游任务的性能？
• RQ4 与基于视觉启发的图蒸馏基线方法（如GCond）相比，SGDD在结构保真度和泛化能力方面表现如何？
• RQ5 SGDD对超参数β的敏感性如何？采样规模如何影响其可扩展性与性能？

主要发现

• SGDD在9个数据集上将拉普拉斯能量分布（LED）偏移降低17.6%至31.4%，显著提升结构保留效果。
• 在YelpChi数据集上，SGDD在图尺寸缩小1000倍的同时，维持了原始图98.6%的测试准确率，实现最先进性能。
• 在YelpChi数据集上，SGDD在5种GNN架构（APPNP、Cheby、GCN、SAGE、SGC）上平均提升跨架构泛化能力9.6%（相较于GCond）。
• SGDD对超参数β具有鲁棒性，不同稀疏度水平下性能稳定，且在2000个采样节点时达到最优结果。
• 可视化与消融实验表明，SGDD比仅基于特征重建的方法更好地保留同质性模式与结构特性。
• SGDD生成的压缩图显著更小（如153个节点 vs. Reddit的15.3万个节点），同时保持相近准确率，存储空间从数百MB降至1MB以下。