[論文レビュー] Distilling Self-Knowledge From Contrastive Links to Classify Graph Nodes Without Passing Messages

Yi Luo, Aiguo Chen+2 more|arXiv (Cornell University)|Jun 16, 2021

Advanced Graph Neural Networks参考文献 18被引用数 9

ひとこと要約

この論文では、メッセージ伝達を用いずに、隣接ノードペアから自己知識を蒸留することで、マルチレイヤーパーセプトロン（MLP）にグラフノードを分類する手法であるLinkDistを提案する。ノードとその近隣ノードの間で予測の一貫性を強制することで、対照的学習を用い、GNNと同等の精度を達成しながらも、より高速かつメモリ効率が良い。

ABSTRACT

Nowadays, Graph Neural Networks (GNNs) following the Message Passing paradigm become the dominant way to learn on graphic data. Models in this paradigm have to spend extra space to look up adjacent nodes with adjacency matrices and extra time to aggregate multiple messages from adjacent nodes. To address this issue, we develop a method called LinkDist that distils self-knowledge from connected node pairs into a Multi-Layer Perceptron (MLP) without the need to aggregate messages. Experiment with 8 real-world datasets shows the MLP derived from LinkDist can predict the label of a node without knowing its adjacencies but achieve comparable accuracy against GNNs in the contexts of semi- and full-supervised node classification. Moreover, LinkDist benefits from its Non-Message Passing paradigm that we can also distil self-knowledge from arbitrarily sampled node pairs in a contrastive way to further boost the performance of LinkDist.

研究の動機と目的

• 隣接行列とメッセージ集約を必要とするグラフニューラルネットワーク（GNNs）におけるメッセージ伝達の計算およびメモリのオーバーヘッドを軽減すること。
• エッジやノードが変更される動的グラフにおいて、再トレーニングが必要となる知識蒸留の限界を克服すること。
• 推論時に隣接ノード情報に依存しない、軽量で高速かつデプロイ性の高いモデルを構築し、高い精度を維持すること。
• メッセージ伝達なしに、ノード接続性からの構造的知識を単純なモデル（MLPなど）に蒸留できるかを検討すること。
• 完全なグラフ構造ではなくエッジレベルのペアで学習することで、効率的なインダクティブなノード分類を可能にすること。

提案手法

• 中心ノードとその近隣ノードの両方のノードラベルを予測する共通のMLPヘッドを学習し、知識蒸留によって予測の一貫性を強制する。
• 対照的損失を用い、接続されたノードの予測が一致するようにし、同時にランダムに抽出されたノードペアの予測が一致しないようにする。
• 明示的なメッセージ伝達なしに、ノードとその隣接ノードの予測が類似するようにモデルを最適化することで、自己知識を蒸留する。
• トレーニングプロセスをエッジのミニバッチに分解することで、メモリ使用量を削減し、大規模グラフへのスケーラビリティを向上させる。
• 推論時に隣接ノードの特徴を保存またはアクセスする必要がなくなるため、メッセージ伝達モードを排除し、中心ノードの特徴のみに依存する。
• ランダムに抽出されたノードペアの予測を明示的に離すことで、性能をさらに向上させる対照的バージョン（CoLinkDist）を導入する。

実験結果

リサーチクエスチョン

• RQ1 メッセージ伝達なしに、ノード接続性からの構造的知識を単純なMLPに効果的に蒸留できるか？
• RQ2 メッセージ伝達なしのモデルが、半教師ありおよび完全教師ありのノード分類タスクでGNNと同等の精度を達成できるか？
• RQ3 ノードペアにおける対照的学習は、標準的な蒸留と比較して、蒸留されたMLPの性能を向上させるか？
• RQ4 新しいノードやエッジが追加された場合でも、LinkDistは再処理を必要とせず、高い精度を維持できるか？
• RQ5 インダクティブおよびトランスダクティブな設定において、LinkDistの性能はGCNからMLPへの知識蒸留（GCN2MLP）と比較してどうなるか？

主な発見

• LinkDistMLPは、メッセージ伝達を行わないモデルの中で最先端の性能を達成し、全8つの実世界データセットで標準的なMLPを大きく上回っている。
• Coraデータセットでは、完全教師あり学習で87.58%の精度を達成し、GCN2MLP（75.95%）を上回り、GCN（86.03%）に近づいた。
• インダクティブな設定では、Coraで87.58%の精度を達成し、GCN2MLP（75.95%）を上回り、蒸留された構造的知識が一般化を向上させることを示した。
• 対照的バージョンであるCoLinkDistMLPはさらに性能を向上させ、Coauthor-CSでは95.74%、Coauthor-Physicsでは97.05%の精度を達成し、場合によってはGCNをも上回った。
• メッセージ伝達モードでのLinkDist（LinkDist）は、Coraで88.24%の精度を達成し、全データセットでGCNと同等またはそれを上回る性能を示し、GNNと競合可能な性能を示した。
• この手法はグラフの変更に対して頑健である。全グラフを再処理するのではなく、効率的にパラメータを更新でき、高コストなメッセージ伝搬を回避できる。