[論文レビュー] Linkless Link Prediction via Relational Distillation

Zhichun Guo, William Shiao+5 more|arXiv (Cornell University)|Oct 11, 2022

Advanced Graph Neural Networks被引用数 8

ひとこと要約

本稿では、リンク予測のためのグラフ構造的知識をGNNからMLPに転送する関係的知識蒸留フレームワーク「Linkless Link Prediction (LLP)」を提案する。アンカー節点とコンテキスト節点間の順序付きランクおよび分布的関係を一致させることで、LLPはMLPの性能を向上させ、8つのベンチマークの7つで教師GNNを上回り、OGBデータセットでは70.68倍の高速化を達成する。

ABSTRACT

Graph Neural Networks (GNNs) have shown exceptional performance in the task of link prediction. Despite their effectiveness, the high latency brought by non-trivial neighborhood data dependency limits GNNs in practical deployments. Conversely, the known efficient MLPs are much less effective than GNNs due to the lack of relational knowledge. In this work, to combine the advantages of GNNs and MLPs, we start with exploring direct knowledge distillation (KD) methods for link prediction, i.e., predicted logit-based matching and node representation-based matching. Upon observing direct KD analogs do not perform well for link prediction, we propose a relational KD framework, Linkless Link Prediction (LLP), to distill knowledge for link prediction with MLPs. Unlike simple KD methods that match independent link logits or node representations, LLP distills relational knowledge that is centered around each (anchor) node to the student MLP. Specifically, we propose rank-based matching and distribution-based matching strategies that complement each other. Extensive experiments demonstrate that LLP boosts the link prediction performance of MLPs with significant margins, and even outperforms the teacher GNNs on 7 out of 8 benchmarks. LLP also achieves a 70.68x speedup in link prediction inference compared to GNNs on the large-scale OGB dataset.

研究の動機と目的

• リンク予測における性能と遅延のトレードオフを、GNNの精度とMLPの効率性を組み合わせることで解決すること。
• 直接的な知識蒸留（ログイットまたは表現一致）が、リンク予測のためのGNN知識をMLPに効果的に転送できるかどうかを検討すること。
• 個々の節点ペアを越えたトポロジーに配慮した関係的知識を捉える関係的蒸留フレームワークを開発すること。
• 推薦システムなどのリアルタイム応用におけるリンク予測において、高速かつ低遅延の推論を可能にすること。

提案手法

• 各アンカー節点を中心に注目する知識に焦点を当てた関係的蒸留フレームワーク、LLPを提案する。個々のリンクや節点表現ではなく、アンカー節点周辺の知識に注目する。
• 上位K件の推薦が正確なまま保たれるように、コンテキスト節点のリンク確率の相対的順序を維持するためのランクベース一致を導入する。
• 教師モデルと生徒モデルのリンク予測確率分布を一致させるために、分布ベース一致を採用する。
• 教師・生徒モデル間の包括的知識転送を実現するため、教師あり学習、ランクベース一致、分布ベース一致を組み合わせた二重損失学習目的関数を用いる。
• 計算コストを抑えるために、各アンカー節点から固定ホップ距離内のコンテキスト節点をサンプリングする。
• 同じホップ内に存在する類似節点に対応するため、学習可能な温度スケーリングとマージンベース損失をランクベース一致に適用する。

実験結果

リサーチクエスチョン

• RQ1 直接的な知識蒸留手法（ログイットまたは表現一致）は、リンク予測のためのGNN知識をMLPに効果的に転送できるか？
• RQ2 標準的な蒸留アプローチがリンク予測で失敗する理由は何か？欠落している関係的インダクティブバイアスは何か？
• RQ3 GNN教師モデルのリンクの相対的順序と確率分布を保持することで、MLPの性能が向上するか？
• RQ4 関係的蒸留により、MLPがリンク予測でGNNを上回りつつ、低遅延推論を維持できるか？

主な発見

• LLPは、8つのベンチマークデータセットのうち7つで、Hits@20で教師GNNを上回るリンク予測性能を達成した。
• OGB-Productsデータセットでは、LLPはGNNと比較して推論時間で70.68倍の高速化を達成しながら、最先端の性能を維持した。
• 提案されたランクベース一致損失（$\mathcal{L}_{\textsf{LLP}\_R}$）は、全データセットで標準的なランキング損失であるListNetを常に上回った。
• 分布ベース一致はランクベース一致を補完し、アブレーションスタディでは両方のコンポonentが最適性能を達成するために不可欠であることが示された。
• 教師GNNよりも2〜4倍広いMLPを用いても、LLPの推論はGNNよりも著しく高速であり、Collabでは18.9倍、Citation2では147倍の高速化を達成した。