[论文解读] Learning to Drop: Robust Graph Neural Network via Topological Denoising

Dongsheng Luo, Wei Cheng+5 more|arXiv (Cornell University)|Nov 13, 2020

Advanced Graph Neural Networks参考文献 54被引用 15

一句话总结

该论文提出 PTDNet，一种参数化的拓扑去噪网络，通过学习丢弃与任务无关的边来提升图神经网络（GNN）的鲁棒性。通过结合边稀疏化与核范数正则化以强制实现低秩结构，PTDNet 提升了 GNN 的泛化能力，在节点分类和链接预测任务中均取得显著性能提升，尤其在噪声数据集上表现突出。

ABSTRACT

Graph Neural Networks (GNNs) have shown to be powerful tools for graph analytics. The key idea is to recursively propagate and aggregate information along edges of the given graph. Despite their success, however, the existing GNNs are usually sensitive to the quality of the input graph. Real-world graphs are often noisy and contain task-irrelevant edges, which may lead to suboptimal generalization performance in the learned GNN models. In this paper, we propose PTDNet, a parameterized topological denoising network, to improve the robustness and generalization performance of GNNs by learning to drop task-irrelevant edges. PTDNet prunes task-irrelevant edges by penalizing the number of edges in the sparsified graph with parameterized networks. To take into consideration of the topology of the entire graph, the nuclear norm regularization is applied to impose the low-rank constraint on the resulting sparsified graph for better generalization. PTDNet can be used as a key component in GNN models to improve their performances on various tasks, such as node classification and link prediction. Experimental studies on both synthetic and benchmark datasets show that PTDNet can improve the performance of GNNs significantly and the performance gain becomes larger for more noisy datasets.

研究动机与目标

• 解决现实图中噪声且与任务无关的边导致 GNN 泛化能力下降的问题。
• 克服现有无参数化边丢弃方法（如 DropEdge）在推理阶段无效的局限性。
• 开发一种可微分的、参数化的框架，基于节点特征与全局图拓扑结构联合学习边剪枝。
• 通过提升鲁棒性并缓解过平滑问题，改善下游任务（如节点分类与链接预测）中的 GNN 性能。
• 将拓扑去噪作为即插即用模块，兼容多种 GNN 架构（如 GCN、GraphSAGE、GAT）。

提出的方法

• 提出一种基于可微分拓扑去噪网络的参数化边剪枝机制，通过学习的注意力权重实现边的丢弃。
• 采用 top-k 稀疏化策略以限制图中的边数，每节点根据学习到的得分选择 top-k 条边。
• 在稀疏化后的邻接矩阵上引入核范数正则化，以强制实现低秩结构，促进泛化并减少过平滑。
• 使用下游任务损失端到端联合训练去噪网络与 GNN 主干网络，实现任务特定的边剪枝。
• 引入可学习的门控机制以控制边的保留，使模型能够自适应地抑制噪声或无关连接。
• 将 PTDNet 作为 GNN 层之前的预处理模块集成，实现与多种 GNN 架构的兼容。

Figure 1. Performance of GCN w.r.t. removing positive and negative edges on Cora.

实验结果

研究问题

• RQ1 可学习的、参数化的边丢弃机制是否能提升 GNN 在噪声现实图上的鲁棒性与泛化能力？
• RQ2 与无结构的边丢弃（如 DropEdge）相比，结合核范数正则化的拓扑去噪在缓解过平滑方面表现如何？
• RQ3 PTDNet 在不同噪声水平的图上对节点分类与链接预测任务的性能提升程度如何？
• RQ4 能否将去噪过程与下游任务联合优化，以实现任务特定的、有意义的边剪枝？
• RQ5 在去噪过程中同时利用节点特征与全局图拓扑结构，是否优于仅依赖单一信息源的方法？

主要发现

• PTDNet 在节点分类任务中显著提升 GNN 性能，在 Cora 和 Citeseer 数据集上相比 GCN 和 DropEdge 实现了 1.5–2.5% 的绝对性能提升。
• 在 Pubmed 数据集上，PTDNet 在链接预测任务中达到 AUC 0.966 和 AP 0.966，优于 GCN（AUC: 0.964, AP: 0.965）与 NeuralSparse。
• PTDNet 的性能增益随图噪声程度增加而提升，表明其在高度噪声数据集上具有更优的鲁棒性。
• PTDNet 在过平滑基准测试中持续优于 DropEdge，尤其在深层 GNN（如 16 层）中表现更优，归因于其参数化、推理时的边丢弃机制。
• 核范数正则化有助于提升泛化能力，表现为更低的过平滑现象以及在深层架构中的更优性能。
• 消融实验表明，top-k 稀疏化与核范数正则化组件均不可或缺，任一组件的移除平均导致性能下降 1–2%。

(a) Framework of PTDNet.