[論文レビュー] Extract the Knowledge of Graph Neural Networks and Go Beyond it: An Effective Knowledge Distillation Framework

Cheng Yang, Jiawei Liu+1 more|arXiv (Cornell University)|Mar 4, 2021

Advanced Graph Neural Networks参考文献 40被引用数 8

ひとこと要約

本論文は、任意の事前学習済みグラフニューラルネットワーク（GNN）教師モデルから、学習可能なラベル伝播（LP）および特徴変換（FT）モジュールで構成される軽量で解釈可能な学生モデルへ知識を転送する知識蒸留フレームワークを提案する。学生モデルは、5つのベンチマークデータセットで7つのGNNアーキテクチャに対して教師モデルを上回り、構造的および特徴ベースのインダクティブバイアスに加えて蒸留されたGNN知識を活用することで、1.4%から4.7%の一貫した精度向上を達成する。

ABSTRACT

Semi-supervised learning on graphs is an important problem in the machine learning area. In recent years, state-of-the-art classification methods based on graph neural networks (GNNs) have shown their superiority over traditional ones such as label propagation. However, the sophisticated architectures of these neural models will lead to a complex prediction mechanism, which could not make full use of valuable prior knowledge lying in the data, e.g., structurally correlated nodes tend to have the same class. In this paper, we propose a framework based on knowledge distillation to address the above issues. Our framework extracts the knowledge of an arbitrary learned GNN model (teacher model), and injects it into a well-designed student model. The student model is built with two simple prediction mechanisms, i.e., label propagation and feature transformation, which naturally preserves structure-based and feature-based prior knowledge, respectively. In specific, we design the student model as a trainable combination of parameterized label propagation and feature transformation modules. As a result, the learned student can benefit from both prior knowledge and the knowledge in GNN teachers for more effective predictions. Moreover, the learned student model has a more interpretable prediction process than GNNs. We conduct experiments on five public benchmark datasets and employ seven GNN models including GCN, GAT, APPNP, SAGE, SGC, GCNII and GLP as the teacher models. Experimental results show that the learned student model can consistently outperform its corresponding teacher model by 1.4% - 4.7% on average. Code and data are available at https://github.com/BUPT-GAMMA/CPF

研究の動機と目的

• 複雑なGNNモデルにおける構造的および特徴ベースのインダクティブバイアスの限られた活用を是正すること。
• 任意の事前学習済みGNN教師モデルと互換性を持つ汎用的な知識蒸留フレームワークの開発。
• 事前知識と蒸留されたGNN知識を統合することで、最先端のGNNを上回る半教師ありノード分類の精度向上。
• 透明でモジュラーなコンponentsを持つ学生モデルの設計により、モデルの解釈性を向上。
• 低ラベル状態下でも性能を維持できる少サンプル学習の有効化。

提案手法

• 学生モデルは、パラメータ化されたラベル伝播（LP）と、特徴変換（FT）のための2層マルチレイヤーパーセプトロン（MLP）の学習可能な組み合わせであり、それぞれ構造的および特徴ベースの事前知識をエンコードする。
• 知識蒸留は、GNN教師モデルが予測するソフトラベルを、学生モデルの出力に対して交差エントロピー損失で一致させることで実施される。
• 各ノードごとに学習可能なアテンションのようなパラメータα_vによって、LPとFTモジュールのバランスを制御し、構造的および特徴的情報の適応的統合を可能にする。
• ノードの信頼性スコアc_vを導入し、ラベル伝播中に各ノードの影響を重みづけすることで、ノイズ多きいまたは多様な近傍ノードに対する耐性を向上。
• 知識蒸留と通常の交差エントロピー監視を組み合わせたハイブリッド損失を用いて、学生モデルをエンドツーエンドで訓練。
• フレームワークは、7つのGNN（GCN、GAT、SAGE、APPNP、SGC、GCNII、GLP）を教師モデルとして、5つの公開データセットで評価された。

Figure 1 . An overview of our knowledge distillation framework. The two simple prediction mechanisms of our student model ensure the full use of structure/feature-based prior knowledge. The knowledge in GNN teachers will be extracted and injected into the student during knowledge distillation. Thus

実験結果

リサーチクエスチョン

• RQ1 構造的および特徴ベースのインダクティブバイアスを明示的にエンコードする学生モデルが、半教師ありノード分類においてGNN教師モデルを上回ることができるか？
• RQ2 多様なGNNアーキテクチャから知識を蒸留し、統一的で解釈可能な学生モデルに効果的に転送できるか？
• RQ3 本フレームワークは、低ラベル状態（少サンプル学習）下でどの程度性能を向上させるか？
• RQ4 学習されたバランスパラメータα_vおよび信頼性スコアc_vは、モデルの解釈性と意思決定プロセスをどの程度反映しているか？
• RQ5 異なるGNN教師モデルおよびデータセット間で、本学生モデルは一貫した性能向上を維持できるか？

主な発見

• 提案された学生モデルは、5つのベンチマークデータセットで全7つのGNN教師モデルを一貫して上回り、平均して1.4%から4.7%の精度向上を達成した。
• 低ラベル状態下でも顕著な改善が見られ、クラス1つあたり5、10、20、50個のラベルがある状況で、それぞれ4.9%、4.5%、3.2%、2.1%の向上を示した。
• 事例研究では、α_v値が高いノードは、同じ予測ラベルを持つ近傍ノードを多く持つ傾向があることが示され、ラベル伝播に強く依存していることが確認された。
• 信頼性スコアc_vが高いノードは、近傍ノードが少なく、ラベル予測が一貫している傾向があるため、近傍の多様性に対して耐性があると示唆された。
• α_vまたはc_vが低いノードは、多様または矛盾する近傍ラベルを持つ傾向にあり、モデルが近傍の均質性に敏感であることが確認された。
• 本フレームワークは、複数のGNNアーキテクチャおよびデータセットタイプにわたり、強力な耐性と一般化性能を示し、普遍的な蒸留フレームワークとしての有効性が検証された。

Figure 2 . An illustration of the architecture of our proposed student model. Taking the center node $v$ as an example, the student model starts from node $v$ ’s raw features and a uniform label distribution as soft labels. Then at each layer, the soft label prediction of $v$ will be updated as a tr