[論文レビュー] Quantifying the Knowledge in GNNs for Reliable Distillation into MLPs

Lirong Wu, Haitao Lin+2 more|arXiv (Cornell University)|Jun 9, 2023

Advanced Graph Neural Networks被引用数 5

ひとこと要約

本稿では、情報エントロピーの摂動不変性を用いてGNN内の知識の信頼性を定量化する、Knowledge-inspired Reliable Distillation (KRD) を提案する。KRDは、マルチレイヤーパーセプトロン（MLP）への知識蒸留に向け、信頼性の高いノードを特定・優先順位付けする。KRDは、7つのデータセットおよび3種類のGNNアーキテクチャを対象に、vanilla MLPより平均12.62%、教師GNNより平均2.16%の性能向上を達成する。

ABSTRACT

To bridge the gaps between topology-aware Graph Neural Networks (GNNs) and inference-efficient Multi-Layer Perceptron (MLPs), GLNN proposes to distill knowledge from a well-trained teacher GNN into a student MLP. Despite their great progress, comparatively little work has been done to explore the reliability of different knowledge points (nodes) in GNNs, especially their roles played during distillation. In this paper, we first quantify the knowledge reliability in GNN by measuring the invariance of their information entropy to noise perturbations, from which we observe that different knowledge points (1) show different distillation speeds (temporally); (2) are differentially distributed in the graph (spatially). To achieve reliable distillation, we propose an effective approach, namely Knowledge-inspired Reliable Distillation (KRD), that models the probability of each node being an informative and reliable knowledge point, based on which we sample a set of additional reliable knowledge points as supervision for training student MLPs. Extensive experiments show that KRD improves over the vanilla MLPs by 12.62% and outperforms its corresponding teacher GNNs by 2.16% averaged over 7 datasets and 3 GNN architectures.

研究の動機と目的

• 教師GNNの予測信頼度に達しない、MLPに蒸留された知識による不確実性問題（under-confidence）を解消すること。
• 既存の手法がすべてのノードを同等に扱うのに対し、個々の知識ポイント（ノード）の情報量や耐性の信頼性を評価することなく、その信頼性を調査すること。
• GNNから信頼性の高い知識ポイントのみを特定・活用する手法を開発し、蒸留品質と学生モデルの性能を向上させること。
• トポロジーに配慮したGNNと、効率的で遅延に優れたMLPとの性能格差を、信頼性のある指導による知識蒸留で埋めること。
• 時間的要因（蒸留速度）と空間的要因（グラフ分布）を両方考慮した、ノード信頼性の原理的かつ定量的な指標を提供すること。

提案手法

• ノイズ摂動に対する情報エントロピーの安定性を測ることで、摂動不変性に基づく知識信頼性の定量化手法を提案する。
• 摂動不変性スコアを用いて、各ノードが情報量が多く信頼性のある知識ポイントである確率をモデル化し、信頼性の高いノードを確率的サンプリング可能にする。
• GNNの出力から追加の信頼性の高い知識ポイントを抽出する、知識にインspiredされたサンプリング戦略を導入し、MLP学習における自己教師信号として活用する。
• 学生用MLPのための二重損失学習目的関数を設計：一つは教師GNNからの通常の蒸留、もう一つは選択された信頼性の高い知識ポイントを用いた自己教師信号。
• トレーニング中にノード信頼性確率の推定を安定化させるために、モーメンタムベースの更新メカニズムを採用する。
• GCN、GAT、GraphSAGEの複数のGNNアーキテクチャおよびCora、Citeseer、PubMed、Photo、CS、Physicsのデータセットを用い、汎用性を検証する。

Figure 1: Mean, standard deviation, and minimum/maximum classification accuracy of student MLPs trained with different combinations of (randomly sampled) GNN knowledge points on Cora .

実験結果

リサーチクエスチョン

• RQ1 GNN内の個々の知識ポイントの信頼性は、ノイズ摂動に対する不変性の観点からどのように変動するか？
• RQ2 信頼性の低い知識ポイントと信頼性の高い知識ポイントを用いることで、蒸留されたMLPの性能と信頼度にどのような影響を与えるか？
• RQ3 摂動不変性によるノード信頼性のモデリングが、GNNからMLPへの蒸留性能と一般化能力を向上させられるか？
• RQ4 信頼性のある知識ポイントの時間的（蒸留速度）および空間的（グラフ分布）特性が、蒸留結果にどのように影響するか？
• RQ5 信頼性の高いノードからの追加の自己教師信号を組み込むことで、標準的な蒸留と比較して、蒸留MLPの不確実性問題が軽減されるか？

主な発見

• KRDは、7つのデータセットおよび3種類のGNNアーキテクチャを対象に、vanilla MLPより平均12.62%、対応する教師GNNより平均2.16%の性能向上を達成する。
• KRDで訓練されたMLPの信頼度分布は、信頼性の高い指導が不足するため不確実性に苦しむGLNNと比較して、顕著に高くかつ一貫性がある。
• 知識ベースのサンプリングは、非サンプリング、ランダムサンプリング、エントロピーに基づくサンプリングを上回り、本手法で提案された信頼性指標を用いることで最高の性能が達成される。
• 提案された摂動不変性指標は、信頼性のある知識ポイントがグラフ全体に一様に分布していないこと、および時間的要因としての蒸留速度に差があることを明らかにする。
• ハイパーパramータ感度分析から、損失重みλおよびモーメンタム率ηは慎重にチューニングする必要があり、η = 0.9または0.99が最適な結果をもたらす。
• 本手法は、GCN、GAT、GraphSAGEの異なるGNNアーキテクチャおよびデータセットにわたり、良好な汎用性とスケーラビリティを示す。

Figure 4: Percentage of highly reliable knowledge points on Cora to show the distillation speeds of different knowledge points.