[論文レビュー] Knowledge Distillation on Graphs: A Survey

Yijun Tian, Shichao Pei+3 more|arXiv (Cornell University)|Feb 1, 2023

Advanced Graph Neural Networks被引用数 8

ひとこと要約

この調査は、Knowledge Distillation on Graphs（KDG）について体系的にレビューし、蒸留される対象、蒸留の方向、蒸留の実施方法によって既存研究を分類します。KDG の課題、前提、問題定義、手法、応用、および今後の方向性を分析します。

ABSTRACT

Graph Neural Networks (GNNs) have attracted tremendous attention by demonstrating their capability to handle graph data. However, they are difficult to be deployed in resource-limited devices due to model sizes and scalability constraints imposed by the multi-hop data dependency. In addition, real-world graphs usually possess complex structural information and features. Therefore, to improve the applicability of GNNs and fully encode the complicated topological information, knowledge distillation on graphs (KDG) has been introduced to build a smaller yet effective model and exploit more knowledge from data, leading to model compression and performance improvement. Recently, KDG has achieved considerable progress with many studies proposed. In this survey, we systematically review these works. Specifically, we first introduce KDG challenges and bases, then categorize and summarize existing works of KDG by answering the following three questions: 1) what to distillate, 2) who to whom, and 3) how to distillate. Finally, we share our thoughts on future research directions.

研究の動機と目的

• グラフへの知識蒸留を適用する際の固有の課題を特定する。
• KDG 問題とその二つの主要目的：モデル圧縮と性能向上を定義する。
• 蒸留対象、蒸留方向、アルゴリズムの3要素にわたるKDG手法の構造化された分類を提供する。
• 既存のKDG手法とそのオープンソース実装を要約し、今後の研究を導く。

提案手法

• 2020年以降の代表的な26件のKDG公開研究をレビュー・総括する。
• 知識のタイプ（ logits、構造、埋め込み）ごとに手法を分類する。
• 蒸留の方向性を区別する（teacher-free vs teacher-to-student）。
• 蒸留アルゴリズムを直接型、適応型、カスタマイズ型に分類する。
• 教師の数、モデル構造、蒸留スキームなどの要因を考察する。
• 代表的な研究の比較を統合し、オープンソースコード付きの代表的な研究の表を提供する。

実験結果

リサーチクエスチョン

• RQ1 KDG で蒸留される知識は何か（logits、構造、埋め込み）？
• RQ2 誰が誰に蒸留するのか（teacher-free vs teacher-to-student、単一教師 vs 複数教師）？
• RQ3 蒸留アルゴリズムはどのように設計されており（直接型、適応型、カスタマイズ型）どのようなトレードオフがあるのか？
• RQ4 KDG の主な応用と課題は何か、そして提案されている今後の方向性は何か？

主な発見

• KDG は三つの主要な知識タイプを蒸留する：logits、グラフ構造、埋め込み。
• ほとんどの手法は教師-生徒フレームワークに従い、いくつかの研究では複数教師を用いる傾向がある。
• 直接型、適応型、カスタマイズ型の蒸留アルゴリズムは、単純さ、柔軟性、堅牢性の間で異なるトレードオフを提供する。
• グラフニューラルネットワークがKDGの主要なバックボーンであり、特殊な設定でMLPやKGEMが用いられる。
• オフライン蒸留の方が一般的だが、オンライン蒸留を扱う研究もある。
• 本調査はオープンソースコード付きの代表的なKDG手法の表を提供し、未解決の問題と今後の方向性を強調している。