[论文解读] Cold Brew: Distilling Graph Node Representations with Incomplete or Missing Neighborhoods

Wenqing Zheng, Edward W Huang+4 more|arXiv (Cornell University)|Nov 8, 2021

Advanced Graph Neural Networks参考文献 51被引用 9

一句话总结

Cold Brew 提出了一种知识蒸馏框架，通过训练多层感知机（MLP）学生模型，利用结构嵌入重新发现潜在邻域，从而提升图神经网络（GNN）在节点邻域稀疏或缺失情况下的泛化能力，特别是对严格冷启动（SCS）节点的泛化能力。该方法在公开及专有电商数据集上，于尾部节点和SCS节点上均实现了最先进性能，在零样本和低连接度设置下优于先前方法。

ABSTRACT

Graph Neural Networks (GNNs) have achieved state-of-the-art performance in node classification, regression, and recommendation tasks. GNNs work well when rich and high-quality connections are available. However, their effectiveness is often jeopardized in many real-world graphs in which node degrees have power-law distributions. The extreme case of this situation, where a node may have no neighbors, is called Strict Cold Start (SCS). SCS forces the prediction to rely completely on the node's own features. We propose Cold Brew, a teacher-student distillation approach to address the SCS and noisy-neighbor challenges for GNNs. We also introduce feature contribution ratio (FCR), a metric to quantify the behavior of inductive GNNs to solve SCS. We experimentally show that FCR disentangles the contributions of different graph data components and helps select the best architecture for SCS generalization. We further demonstrate the superior performance of Cold Brew on several public benchmark and proprietary e-commerce datasets, where many nodes have either very few or noisy connections. Our source code is available at https://github.com/amazon-research/gnn-tail-generalization.

研究动机与目标

• 为解决 GNN 在邻域连接稀疏或缺失的节点上泛化能力差的问题，特别是针对无边连接的严格冷启动（SCS）场景。
• 开发一种知识蒸馏框架，使学生 MLP 在孤立或低连接度节点上的泛化能力优于教师 GNN。
• 通过一种新指标——特征贡献率（FCR），量化归纳表示学习在尾部节点和 SCS 节点上的难度，以指导模型架构选择。
• 通过引入结构嵌入（SE），有效缓解深层 GNN 中的过平滑问题，同时保留节点身份和连通性信息。

提出的方法

• 在教师 GNN 中引入节点级结构嵌入（SE），这些嵌入独立于邻接结构学习，有助于缓解深层网络中的过平滑问题。
• 将知识蒸馏应用于增强后的 GNN 教师模型与 MLP 学生模型之间，即使在缺少邻域信息的情况下也能传递表示。
• 学生 MLP 通过一种新颖的虚拟邻居注意力机制，在学习到的潜在邻域上执行消息传递，该机制可重建缺失的连接。
• 引入一种新指标——特征贡献率（FCR），用于量化节点特征与图结构在下游任务中对预测性能的相对重要性，指导模型选择。
• 框架采用定制的训练/测试划分——头部、尾部和隔离（SCS）——以明确评估低连接度节点上的性能。
• 通过 FCR 执行模型架构筛选，选择在冷启动场景下泛化能力最强的 GNN 和 MLP 模型。

实验结果

研究问题

• RQ1 如何使 GNN 在无边或邻居极少的节点上实现有效泛化，特别是在严格冷启动（SCS）场景下？
• RQ2 从 GNN 教师模型到 MLP 学生模型的知识蒸馏，是否能超越教师模型在孤立节点上的泛化性能？
• RQ3 在尾部和 SCS 节点上，节点特征与图结构对预测性能的贡献程度如何，以及如何对其进行量化？
• RQ4 结构嵌入（SE）是否能有效缓解深层 GNN 中的过平滑问题，同时保留对低连接度节点的归纳偏差？
• RQ5 如何利用数据驱动指标系统性地指导冷启动泛化场景下的模型架构选择？

主要发现

• 在 Cora 的隔离划分上，Cold Brew 的 GCN + 结构嵌入（GCN + SE）达到 74.23% 的准确率，显著优于标准 GCN 的 40.04%，证明了其在缺失邻域情况下的鲁棒性。
• 在 E-comm4 专有数据集上，Cold Brew 的学生 MLP 在隔离划分上达到 -0.06% 的准确率，优于基线方法在无边情况下的表现（低于 -6%）。
• FCR 指标成功识别出在某些数据集中，仅靠节点特征即可贡献超过 80% 的预测性能，表明结构依赖性较低且归纳偏差较高。
• 在 64 层深层 GCN 上，Cold Brew 的 GCN + SE 在 Arxiv 头部划分上保持 71.35% 的准确率，而标准 GCN 下降至 65.53%，表明其具备更好的稳定性和更低的过平滑现象。
• 在隔离划分中，Cold Brew 比专门设计的基线方法 TailGCN 和 Meta-Tail2Vec 提升了 10–15 个百分点，证实其在零样本泛化到孤立节点方面的优越性。
• 学生 MLP 模型在头部节点上的性能相比标准 GCN 有所下降，但这一权衡是可接受的，因为 Cold Brew 专门针对冷启动和尾部节点泛化难题而设计。