[论文解读] Distilling Knowledge from Graph Convolutional Networks

Yiding Yang, Jiayan Qiu+3 more|arXiv (Cornell University)|Mar 23, 2020

Advanced Neural Network Applications参考文献 48被引用 21

一句话总结

本文提出了首个专用于图卷积网络（GCNs）的知识蒸馏方法，引入了局部结构保持（LSP）模块，通过匹配局部节点结构的分布，将教师GCN中的拓扑语义传递给学生模型。该方法在多种GCN架构和数据集上实现了最先进性能，包括在ModelNet40数据集上使用仅教师模型1/18参数量的学生模型达到91.9%的准确率。

ABSTRACT

Existing knowledge distillation methods focus on convolutional neural networks (CNNs), where the input samples like images lie in a grid domain, and have largely overlooked graph convolutional networks (GCN) that handle non-grid data. In this paper, we propose to our best knowledge the first dedicated approach to distilling knowledge from a pre-trained GCN model. To enable the knowledge transfer from the teacher GCN to the student, we propose a local structure preserving module that explicitly accounts for the topological semantics of the teacher. In this module, the local structure information from both the teacher and the student are extracted as distributions, and hence minimizing the distance between these distributions enables topology-aware knowledge transfer from the teacher, yielding a compact yet high-performance student model. Moreover, the proposed approach is readily extendable to dynamic graph models, where the input graphs for the teacher and the student may differ. We evaluate the proposed method on two different datasets using GCN models of different architectures, and demonstrate that our method achieves the state-of-the-art knowledge distillation performance for GCN models. Code is publicly available at https://github.com/ihollywhy/DistillGCN.PyTorch.

研究动机与目标

• 为图卷积网络（GCNs）的知识蒸馏研究填补空白，尽管GCNs在点云和分子结构等非网格数据中的应用日益广泛，但该领域仍缺乏系统探索。
• 实现从预训练的教师GCN到更小、更高效的学学生GCN的有效知识迁移，同时保留输入图的拓扑结构。
• 设计一种显式考虑GCN表征中嵌入的拓扑语义的方法，超越传统的输出或激活蒸馏。
• 将该方法扩展至动态图模型，其中教师与学生之间的图结构可能不同。
• 在节点分类和3D物体识别任务中，验证方法在不同GCN架构和真实世界数据集上的泛化能力。

提出的方法

• 局部结构保持（LSP）模块计算每个节点与其邻居在特征空间中相似性的分布，以表征图的局部结构。
• LSP模块使用基于核的散度度量（如RBF核）最小化教师与学生GCN的局部结构分布之间的距离，实现拓扑感知的知识迁移。
• 该方法被形式化为蒸馏损失，促使学生模型学习与教师相似的局部结构组织，即使图结构存在差异。
• 该方法兼容动态图模型，其中图在推理或训练过程中构建，而非预先固定。
• LSP损失与标准交叉熵损失结合用于训练，支持学生模型的端到端优化。
• 该方法在PyTorch中实现并公开发布，支持多种GCN架构和超参数配置。

实验结果

研究问题

• RQ1 知识蒸馏能否有效应用于处理非网格、拓扑结构化数据的图卷积网络（GCNs）？
• RQ2 如何从教师GCN中蒸馏出超越节点预测或中间激活的拓扑语义？
• RQ3 学生GCN是否能在显著更小的规模下（如层数、通道数和图复杂度方面）实现接近教师的性能？
• RQ4 在教师与学生之间保持局部结构分布是否能提升在不同GCN架构和数据集上的泛化能力与鲁棒性？
• RQ5 该蒸馏方法能否扩展至动态图模型，其中教师与学生之间的输入图结构存在差异？

主要发现

• 在ModelNet40 3D物体识别数据集上，所提方法使用仅0.1M参数的学生模型实现了91.9%的测试准确率，而教师模型参数量为1.81M。
• 采用LSP模块训练的学生模型优于所有基线方法（包括KD、AT和FitNet），在ModelNet40上达到88.6%的平均类别准确率，高于KD的88.1%和AT的87.9%。
• 在所有测试的核函数中，RBF核函数表现最佳，在ModelNet40上分别实现91.9%的准确率和88.6%的平均类别准确率。
• 即使学生模型参数量仅为教师的1/18，LSP方法仍实现了相近性能，证明了其强大的参数效率。
• 消融实验表明，增加学生模型容量（如增加通道数或层数）可提升准确率（最高达92.3%），证实了该方法的可扩展性与有效性。
• 可视化结果表明，使用LSP训练的学生模型能快速学习到与教师相似的特征空间结构，尤其在训练初期即显现，表明实现了有效的拓扑知识迁移。