[論文レビュー] Cold Brew: Distilling Graph Node Representations with Incomplete or Missing Neighborhoods

Wenqing Zheng, Edward W Huang+4 more|arXiv (Cornell University)|Nov 8, 2021

Advanced Graph Neural Networks参考文献 51被引用数 9

ひとこと要約

Cold Brewは、構造的埋め込みを介して欠落した接続を再発見する多層パーセプトロン（MLP）学生を訓練することで、疎な接続または欠落した近傍を持つノード、特に厳密なコールドスタート（SCS）ノードに対するGNNの一般化性能を向上させる知識蒸留フレームワークを提案する。この手法は、公開および社内eコマースデータセットにおいて、ゼロショットおよび低接続性設定下で、先行手法を上回る最先端の性能を達成した。

ABSTRACT

Graph Neural Networks (GNNs) have achieved state-of-the-art performance in node classification, regression, and recommendation tasks. GNNs work well when rich and high-quality connections are available. However, their effectiveness is often jeopardized in many real-world graphs in which node degrees have power-law distributions. The extreme case of this situation, where a node may have no neighbors, is called Strict Cold Start (SCS). SCS forces the prediction to rely completely on the node's own features. We propose Cold Brew, a teacher-student distillation approach to address the SCS and noisy-neighbor challenges for GNNs. We also introduce feature contribution ratio (FCR), a metric to quantify the behavior of inductive GNNs to solve SCS. We experimentally show that FCR disentangles the contributions of different graph data components and helps select the best architecture for SCS generalization. We further demonstrate the superior performance of Cold Brew on several public benchmark and proprietary e-commerce datasets, where many nodes have either very few or noisy connections. Our source code is available at https://github.com/amazon-research/gnn-tail-generalization.

研究の動機と目的

• 疎な接続または接続のない近傍を持つノード、特にノードにエッジが一切存在しない厳密なコールドスタート（SCS）状況におけるGNNの一般化性能の低さを是正すること。
• 教師GNNが孤立または低接続性ノードで達成する性能を超えて一般化を向上させられるように、MLP学生に知識蒸留を適用するフレームワークの開発。
• 新しい指標である特徴寄与率（FCR）を用いて、テイルノードおよびSCSノードにおける誘導的表現学習の難易度を定量化し、モデルアーキテクチャ選定を支援すること。
• 深層GNNにおける過剰な平滑化を克服するため、ノードの識別性と接続情報を保持する構造的埋め込み（SE）を導入すること。

提案手法

• 教師GNNにノード単位の構造的埋め込み（SE）を追加し、隣接構造とは独立して学習させることで、深層層における過剰な平滑化を軽減する。
• 強化されたGNN教師からMLP学生への知識蒸留を適用し、近傍情報が欠落している場合でも表現を転送可能にする。
• 学生のMLPは、新規の仮想近傍アテンションメカニズムを介して学習された潜在的近傍を介してメッセージパッシングを実行し、欠落した接続を再構築する。
• 下流タスクにおける特徴量とグラフ構造の相対的寄与度を定量化するための新しい指標、特徴寄与率（FCR）を導入する。
• 低接続性ノードにおける明示的評価を可能にするために、ヘッド、テイル、孤立（SCS）の3つの分割を独自に設定したトレイン/テスト分割を用いる。
• FCRを用いたモデルアーキテクチャスクリーニングにより、コールドスタート状況における一般化性能が最も高いGNNおよびMLPモデルを選定する。

実験結果

リサーチクエスチョン

• RQ1 ノードに接続が存在しない、あるいは非常に少ない状況において、GNNが効果的に一般化できるようにするにはどうすればよいか？特に、ノードにエッジが一切存在しない厳密なコールドスタート（SCS）設定において。
• RQ2 GNN教師からMLP学生への知識蒸留は、教師が達成する性能を超えて、孤立ノードにおける一般化性能を向上させることができるか？
• RQ3 テイルノードおよびSCSノードにおける予測性能に、ノード特徴量とグラフ構造のどちらがより寄与しているか、その程度はどの程度か、そしてその寄与度をどのように定量化できるか？
• RQ4 構造的埋め込み（SE）は、深層GNNにおける過剰な平滑化を効果的に緩和し、低接続性ノードに対する誘導的バイアスを保持できるか？
• RQ5 データ駆動型指標を用いて、コールドスタート一般化のためのモデルアーキテクチャ選定を体系的に行うにはどうすればよいか？

主な発見

• Cold BrewのGCNに構造的埋め込み（GCN + SE）を適用したモデルは、Coraの孤立スプリットで74.23%の精度を達成し、標準的なGCN（40.04%）を著しく上回り、近傍欠落に対して高い頑健性を示した。
• E-comm4社内データセットでは、Cold Brewの学生MLPが孤立スプリットで-0.06%の精度を記録し、エッジが欠落した場合に-6%を下回るベースライン手法を上回った。
• FCR指標は、一部のデータセットではノード特徴量が予測性能に80%以上寄与していることを特定し、構造的依存性が低く、誘導的バイアスが高いことを示した。
• 64層の深層GCNにおいて、Cold BrewのGCN + SEはArxivのヘッドスプリットで71.35%の精度を維持したのに対し、標準GCNは65.53%に低下し、安定性の向上と過剰な平滑化の低減が確認された。
• 孤立スプリットにおいて、Cold Brewは専用のベースライン手法であるTailGCNおよびMeta-Tail2Vecを10～15パーセンテージポイント上回り、オーファンノードに対するゼロショット一般化性能の優位性を裏付けた。
• 学生のMLPモデルはヘッドノードでは標準GCNより性能が低下したが、Cold Brewは特定にコールドスタートおよびテイルノード一般化問題に焦点を当てており、このトレードオフは許容可能である。