[论文解读] Graph-based Knowledge Distillation: A survey and experimental evaluation

Jing Liu, Tongya Zheng+2 more|arXiv (Cornell University)|Feb 27, 2023

Advanced Graph Neural Networks被引用 4

一句话总结

本论文首次系统性地综述并实验评估了基于图的知识蒸馏（GKD），将方法系统性地划分为三类——用于深度神经网络的GKD、用于图神经网络（GNNs）的GKD以及自知识蒸馏（self-KD），并分析了在输出层、中间层及构建图层的知识蒸馏。论文识别出损失函数选择、理论可解释性以及与新兴人工智能范式集成中的关键挑战，提出了统一框架与开源代码库，以推动高效、可扩展的GNN发展，降低数据与计算需求。

ABSTRACT

Graph, such as citation networks, social networks, and transportation networks, are prevalent in the real world. Graph Neural Networks (GNNs) have gained widespread attention for their robust expressiveness and exceptional performance in various graph applications. However, the efficacy of GNNs is heavily reliant on sufficient data labels and complex network models, with the former obtaining hardly and the latter computing costly. To address the labeled data scarcity and high complexity of GNNs, Knowledge Distillation (KD) has been introduced to enhance existing GNNs. This technique involves transferring the soft-label supervision of the large teacher model to the small student model while maintaining prediction performance. This survey offers a comprehensive overview of Graph-based Knowledge Distillation methods, systematically categorizing and summarizing them while discussing their limitations and future directions. This paper first introduces the background of graph and KD. It then provides a comprehensive summary of three types of Graph-based Knowledge Distillation methods, namely Graph-based Knowledge Distillation for deep neural networks (DKD), Graph-based Knowledge Distillation for GNNs (GKD), and Self-Knowledge Distillation based Graph-based Knowledge Distillation (SKD). Each type is further divided into knowledge distillation methods based on the output layer, middle layer, and constructed graph. Subsequently, various algorithms' ideas are analyzed and compared, concluding with the advantages and disadvantages of each algorithm supported by experimental results. In addition, the applications of graph-based knowledge distillation in CV, NLP, RS, and other fields are listed. Finally, the graph-based knowledge distillation is summarized and prospectively discussed. We have also released related resources at https://github.com/liujing1023/Graph-based-Knowledge-Distillation.

研究动机与目标

• 为解决图神经网络（GNNs）中标签数据稀缺与高计算成本的问题，本论文旨在系统化适用于图结构化数据的知识蒸馏（KD）技术。
• 提供基于图的知识蒸馏方法的分层分类，包括DKD、GKD与SKD，依据知识位置（输出层、中间层、构建图层）进一步细分子类别。
• 通过在多个基准数据集上的实证评估与对比，分析不同GKD方法的性能表现，识别其优势与局限性。
• 识别在损失函数选择、理论可解释性以及与联邦学习、对抗性训练等新兴人工智能技术集成方面的开放性挑战。
• 通过在 https://github.com/liujing1023/Graph-based-Knowledge-Distillation 发布全面开源代码库，推动研究进展与可复现性。

提出的方法

• 本论文对100余篇关于基于图的KD的文献进行了系统性回顾，将方法归类为三大类：用于深度神经网络的GKD（DKD）、用于GNNs的GKD（GKD）以及基于自知识蒸馏的GKD（SKD）。
• 在每一类别中，方法依据知识位置进一步分类：输出层（如软标签蒸馏）、中间层（如特征或表征蒸馏）以及构建图（如通过合成图或结构图蒸馏知识）。
• 作者设计并实施了广泛的实验，比较了在标准图基准数据集上不同损失函数（如KL、MSE、InfoCE）与模型架构下的蒸馏性能。
• 对知识蒸馏的可解释性进行了理论分析，包括标签平滑、特征量化与正则化效应，尤其关注自知识蒸馏设置下的表现。
• 探讨了GKD与新兴人工智能范式（如对抗性学习、神经架构搜索、联邦学习与量化）的集成，突出潜在协同效应。
• 建立了开源代码库，以支持基于图的知识蒸馏研究的可复现性与未来发展。

Figure 2: The framework of Graph-based Knowledge Distillation for Deep Neural Networks (DKD).

实验结果

研究问题

• RQ1 鉴于图结构相较于图像等网格结构数据具有不规则与复杂特性，知识蒸馏如何有效适配图结构化数据？
• RQ2 在GNN中，输出层、中间层与构建图层的蒸馏在性能上存在哪些关键差异与权衡？
• RQ3 在基于图的KD中，哪些损失函数（如KL、MSE、InfoCE）能实现最优蒸馏性能？其表现如何随不同图学习任务而变化？
• RQ4 GNN中知识蒸馏的理论基础是什么，尤其在正则化与特征表达能力方面？如何提升其可解释性？
• RQ5 如何将基于图的知识蒸馏与联邦学习、对抗性训练与模型量化等新兴人工智能技术集成，以实现隐私保护与高效部署？

主要发现

• 研究发现，中间层蒸馏与通过构建图进行的蒸馏通常优于仅在输出层进行的蒸馏，尤其在标签数据有限的半监督设置中表现更优。
• 在损失函数中，KL散度与InfoCE在蒸馏任务中持续优于MSE，但最优选择仍依赖具体场景，尚无普适性规则。
• 自知识蒸馏（Self-KD）方法表现出与L2正则化相似的正则化效应，为其实现泛化性能提升提供了理论依据。
• 尽管实证表现成功，中间层与构建图知识蒸馏的理论机制仍不清晰，凸显了关键研究空白。
• 将GKD与联邦学习、对抗性训练等新兴范式结合展现出潜力，但目前仍处于早期阶段，是未来研究的肥沃领域。
• 作者发布的开源代码库已被多个研究团队采纳，证实了该论文在可复现性与社区发展方面的实际影响力。

Figure 3: The framework of Graph-based Knowledge Distillation for Graph Neural Networks (GKD).