[论文解读] Iterative Graph Self-Distillation

Hanlin Zhang, Shuai Lin+5 more|arXiv (Cornell University)|Oct 23, 2020

Advanced Graph Neural Networks参考文献 51被引用 10

一句话总结

该论文提出了一种迭代图自蒸馏（IGSD）方法，这是一种自监督图表示学习方法，通过使用图扩散增强的教师-学生蒸馏技术对比完整图视图，在多个基准测试中实现了无监督和半监督设置下的最先进性能，且通过自训练进一步提升了性能。

ABSTRACT

Recently, there has been increasing interest in the challenge of how to discriminatively vectorize graphs. To address this, we propose a method called Iterative Graph Self-Distillation (IGSD) which learns graph-level representation in an unsupervised manner through instance discrimination using a self-supervised contrastive learning approach. IGSD involves a teacher-student distillation process that uses graph diffusion augmentations and constructs the teacher model using an exponential moving average of the student model. The intuition behind IGSD is to predict the teacher network representation of the graph pairs under different augmented views. As a natural extension, we also apply IGSD to semi-supervised scenarios by jointly regularizing the network with both supervised and self-supervised contrastive loss. Finally, we show that finetuning the IGSD-trained models with self-training can further improve the graph representation power. Empirically, we achieve significant and consistent performance gain on various graph datasets in both unsupervised and semi-supervised settings, which well validates the superiority of IGSD.

研究动机与目标

• 为解决在不依赖大规模标注数据的情况下学习判别性图级别表征的挑战。
• 克服现有对比学习方法依赖负样本采样或子图采样所带来的局限性。
• 开发一种自蒸馏框架，实现学生与教师网络之间在图级别表征学习中的有效知识迁移。
• 通过联合优化监督对比损失与自监督对比损失，将方法扩展至半监督场景。
• 通过利用高置信度伪标签的自训练策略进一步提升性能。

提出的方法

• IGSD采用教师-学生蒸馏框架，其中教师网络是学生网络参数的指数移动平均。
• 通过图扩散对图实例进行增强，生成多个视图用于对比学习。
• 模型通过预测教师网络对增强图视图的表征进行学习，强制不同视图间的一致性。
• 使用投影头将编码表征映射到潜在空间以支持对比学习。
• 在半监督设置中，模型联合优化自监督对比损失与监督对比损失。
• 通过高置信度伪标签应用自训练策略，以进一步提升性能。

实验结果

研究问题

• RQ1 自蒸馏框架是否能在不依赖大量负样本采样的情况下，有效学习判别性图级别表征？
• RQ2 学生与教师网络之间的迭代知识迁移在自监督设置下如何提升图表示学习性能？
• RQ3 所提出的方法是否能在不同GNN编码器和数据增强策略下实现良好泛化？
• RQ4 在仅有少量标注数据可用的情况下，IGSD在半监督图学习中的有效性如何？
• RQ5 利用伪标签的自训练在多大程度上能进一步提升IGSD的性能？

主要发现

• 在QM9数据集的10项回归任务中，IGSD在9项上达到最先进性能，显著优于InfoGraph、InfoGraph*和Mean Teachers。
• 在IMDB-B数据集上，IGSD在所有标注数据比例下均优于强基线模型InfoGraph*，尤其在10%标注数据时提升最大。
• 自训练在GIN基线模型和IGSD模型上均提升了性能，且与监督对比损失联合使用时增益最大。
• 增大批量大小可提升IGSD性能，而CMC-Graph在更大批量下性能下降，表明IGSD在利用负样本对方面具有更优能力。
• 移除投影头会使分类准确率平均降低2.5%，证实其对表征质量的重要性。
• 性能对投影头大小相对不敏感，但使用更大投影头时可获得略优结果。