[論文レビュー] Geometric Knowledge Distillation: Topology Compression for Graph Neural Networks

Chenxiao Yang, Qitian Wu+1 more|arXiv (Cornell University)|Oct 24, 2022

Neural Networks and Applications被引用数 5

ひとこと要約

本稿では、完全なグラフ上で訓練された教師GNNから、部分的またはスパースなグラフ上で動作する学生GNNへ、埋め込まれたグラフ多様体の幾何的性質を符号化するニューラルヒートカーネル（NHK）を用いて、トポロジー知識を転送する新規フレームワークである幾何的知識蒸留（GKD）を提案する。この手法は、オラクルモデルと同等の性能を達成し、モデル圧縮、自己蒸留、オンライン蒸留の複数の設定において、学生モデルおよび教師モデルを上回る性能を示す。

ABSTRACT

We study a new paradigm of knowledge transfer that aims at encoding graph topological information into graph neural networks (GNNs) by distilling knowledge from a teacher GNN model trained on a complete graph to a student GNN model operating on a smaller or sparser graph. To this end, we revisit the connection between thermodynamics and the behavior of GNN, based on which we propose Neural Heat Kernel (NHK) to encapsulate the geometric property of the underlying manifold concerning the architecture of GNNs. A fundamental and principled solution is derived by aligning NHKs on teacher and student models, dubbed as Geometric Knowledge Distillation. We develop non- and parametric instantiations and demonstrate their efficacy in various experimental settings for knowledge distillation regarding different types of privileged topological information and teacher-student schemes.

研究の動機と目的

• 完全なグラフから部分的またはスパースなグラフ上で動作するGNNへ、幾何的知識を転送する課題に対処すること。
• 完全なトポロジーが利用できない状況でも、グラフトポロジーを幾何的事前知識としてGNNに形式化する原理的かつ整合的な手法を確立すること。
• 特徴量だけでなく、潜在的な幾何的構造に基づく知識転送を可能にする柔軟な蒸留フレームワークを開発すること。
• モデル圧縮、自己蒸留、オンライン蒸留を含む多様な設定において、有効性を実証すること。
• グラフ上の熱方程式から導出されるニューラルヒートカーネル（NHK）を用いて、幾何的知識の理論的根拠に基づく表現を提供すること。

提案手法

• 埋め込まれたグラフ多様体の幾何的性質を数学的表現として用いるために、グラフ上の熱方程式から導出されるニューラルヒートカーネル（NHK）を提案する。
• NHK行列を用いて、完全なグラフ上で訓練された教師GNNから、部分的グラフ上で訓練される学生GNNへ、幾何的知識を統合的かつ効果的に転送する。
• 非パラメトリックGKDとパラメトリックGKDの2つの実装形態を構築：非パラメトリックGKDは、潜在空間に仮定を置いた上でNHKを明示的に計算し、パラメトリックGKDは微分可能モジュールを用いてNHKを学習する。
• 教師モデルと学生モデルのNHKを、両者の情報伝搬ダイナミクスが多様体上で類似するよう促す蒸留損失関数を通じて整合化する。
• パラメトリックバージョンでは、GNNとNHK近似モジュールを同時に最適化するためのEMスタイル最適化を採用する。
• モデル圧縮、自己蒸留、オンライン蒸留の複数の設定に本フレームワークを適用し、ベースラインと比較して一貫した性能向上を示した。

実験結果

リサーチクエスチョン

• RQ1 部分的グラフしかアクセスできない状況下でも、グラフトポロジーを幾何的事前知識としてGNNモデルに蒸留することは可能か？
• RQ2 熱カーネルに符号化されたグラフの幾何的構造を、教師GNNと学生GNNの間で形式化し、転送することは可能か？
• RQ3 原理的かつ熱力学的インスピレーションに基づくフレームワークは、完全なトポロジーにアクセスできないスパースグラフにおいてGNNの性能を向上させることができるか？
• RQ4 従来の知識蒸留と比較して、本稿で提案する幾何的知識蒸留フレームワークは、性能および一般化能力において優れているか？
• RQ5 パラメトリックなNHK近似と非パラメトリックなNHK近似を用いる際の、トレーニング効率とモデル容量のトレードオフは何か？

主な発見

• オンライン蒸留設定において、CoraでGKD-G、GKD-S、GKD-Rの各バージョンは、それぞれ88.48±0.59、88.50±0.33、88.41±0.62のテスト精度を達成し、教師モデル（84.61±0.37）を上回り、オラクルモデル（88.63±0.48）に近い性能に到達した。
• モデル圧縮設定では、SGCの学生モデルは85.93±0.17から87.15±0.85に向上し、GCN-8は84.52±1.34から88.30±0.46に向上し、両方の学生モデルおよび教師モデルの性能を上回った。
• 自己蒸留設定では、GKDはGCN-32の性能を88.63±0.48から89.23±0.52に向上させ、性能の洗練化に有効であることを示した。
• パラメトリックGKD（PGKD）は200エポック以内に収束し、最初の100エポック以内に最高の検証精度に到達したため、許容できるトレーニングオーバーヘッドであった。
• GKDの各バージョンは、ヴァニラKDと同等の速度で収束し、シグモイドおよびガウス型NHKは標準的なKDの収束速度に一致した。
• 評価されたすべての設定において、GKDは学生モデルを常に上回り、オラクルモデルに匹敵する性能を示した。これにより、幾何的知識転送の有効性が裏付けられた。