[论文解读] Knowledge Distillation on Graphs: A Survey

Yijun Tian, Shichao Pei+3 more|arXiv (Cornell University)|Feb 1, 2023

Advanced Graph Neural Networks被引用 8

一句话总结

这份综述系统性地回顾了图知识蒸馏（Knowledge Distillation on Graphs，KDG），按照蒸馏内容、蒸馏对象与蒸馏方式将现有工作进行分类。它分析了KDG的挑战、前提、问题定义、方法、应用及未来方向。

ABSTRACT

Graph Neural Networks (GNNs) have attracted tremendous attention by demonstrating their capability to handle graph data. However, they are difficult to be deployed in resource-limited devices due to model sizes and scalability constraints imposed by the multi-hop data dependency. In addition, real-world graphs usually possess complex structural information and features. Therefore, to improve the applicability of GNNs and fully encode the complicated topological information, knowledge distillation on graphs (KDG) has been introduced to build a smaller yet effective model and exploit more knowledge from data, leading to model compression and performance improvement. Recently, KDG has achieved considerable progress with many studies proposed. In this survey, we systematically review these works. Specifically, we first introduce KDG challenges and bases, then categorize and summarize existing works of KDG by answering the following three questions: 1) what to distillate, 2) who to whom, and 3) how to distillate. Finally, we share our thoughts on future research directions.

研究动机与目标

• 识别将知识蒸馏应用于图时的独特挑战。
• 定义KDG问题及其两个主要目标：模型压缩和性能提升。
• 提供一个结构化的KDG方法分类，涵盖蒸馏内容、蒸馏方向与算法。
• 总结现有KDG方法及其开源实现，以指导未来研究。

提出的方法

• 回顾并综合自2020年以来的26篇具有代表性的KDG出版物。
• 按知识类型进行分类（对数 logits、结构、嵌入 embeddings）。
• 区分蒸馏方向（teacher-free 与 teacher-to-student）。
• 将蒸馏算法分为直接、自适应或定制化。
• 讨论影响因素，如教师数量、模型结构与蒸馏方案。
• 提供一个汇总对比和包含开源代码的代表性工作表。

实验结果

研究问题

• RQ1 KDG中蒸馏的知识是什么（logits、结构、嵌入）？
• RQ2 谁对谁进行蒸馏（teacher-free 与 teacher-to-student，单教师与多教师）？
• RQ3 蒸馏算法如何设计（直接、自适应、定制）及各自的权衡？
• RQ4 KDG的主要应用与挑战是什么，未来方向有哪些？

主要发现

• KDG蒸馏三种主要知识类型：logits、图结构和嵌入。
• 大多数方法遵循teacher-to-student框架，部分工作呈现多教师的趋势。
• 直接、自适应和定制化蒸馏算法在简单性、灵活性与鲁棒性之间提供不同权衡。
• 图神经网络是KDG中的主导骨干，在特定设置中使用MLP和KGEM。
• 离线蒸馏更为常见，但少数工作探索在线蒸馏。
• 该综述提供一个含开源代码的代表性KDG方法表，并强调未解决的问题与未来方向。