[论文解读] Towards Robust Graph Neural Networks for Noisy Graphs with Sparse Labels

Enyan Dai, Wei Jin+2 more|arXiv (Cornell University)|Jan 1, 2022

Advanced Graph Neural Networks被引用 9

一句话总结

该论文提出RS-GNN，一种鲁棒的图神经网络框架，通过利用噪声边作为监督信号来学习去噪且更密集的图，从而增强半监督节点分类中的消息传递。通过结合链接预测以实现图净化和标签平滑度正则化，RS-GNN在存在噪声和标签稀疏的图上实现了最先进性能，在Corra数据集上经15% Metattack扰动后，准确率相较基线最高提升11.5%。

ABSTRACT

Graph Neural Networks (GNNs) have shown their great ability in modeling graph structured data. However, real-world graphs usually contain structure noises and have limited labeled nodes. The performance of GNNs would drop significantly when trained on such graphs, which hinders the adoption of GNNs on many applications. Thus, it is important to develop noise-resistant GNNs with limited labeled nodes. However, the work on this is rather limited. Therefore, we study a novel problem of developing robust GNNs on noisy graphs with limited labeled nodes. Our analysis shows that both the noisy edges and limited labeled nodes could harm the message-passing mechanism of GNNs. To mitigate these issues, we propose a novel framework which adopts the noisy edges as supervision to learn a denoised and dense graph, which can down-weight or eliminate noisy edges and facilitate message passing of GNNs to alleviate the issue of limited labeled nodes. The generated edges are further used to regularize the predictions of unlabeled nodes with label smoothness to better train GNNs. Experimental results on real-world datasets demonstrate the robustness of the proposed framework on noisy graphs with limited labeled nodes.

研究动机与目标

• 解决在包含结构噪声和标签节点稀少的真实世界图上训练鲁棒图神经网络（GNN）的关键挑战。
• 指出噪声边和标签稀疏性均会通过破坏消息传递机制而降低GNN性能。
• 开发统一框架，通过图去噪和图稠密化，同时缓解噪声和标签稀疏性问题。
• 利用噪声图的内在结构作为监督信号，训练链接预测器以生成可靠、去噪且密集的图，从而改善消息传递。
• 在生成的图上引入标签平滑度正则化，以更好地利用未标记节点，并在标签稀缺条件下提升泛化能力。

提出的方法

• 使用节点特征训练链接预测器以重建图，为不相似节点之间的边分配低权重（表示噪声），为相似节点之间的边分配高权重。
• 利用链接预测器的输出生成去噪且更密集的图，有效去除或降低噪声边的权重，并添加合理的缺失链接。
• 将生成的图作为正则化项引入GNN训练过程，以增强未标记节点的消息传递和表征学习。
• 在预测的图结构上引入标签平滑度正则化，以鼓励相连节点间的一致性预测，提升泛化能力。
• 联合优化包含链接预测损失（超参数α）和标签平滑度损失（超参数β）的目标函数，以平衡图重建与预测保真度。
• 使用GNN（如GCN）作为链接预测器，但表明对抗性边会降低其性能，从而证明需要采用鲁棒训练策略。

实验结果

研究问题

• RQ1 在半监督节点分类中，噪声边和标签稀疏性如何共同降低标准GNN的性能？
• RQ2 能否将图中的噪声边作为监督信号，用于学习去噪且更密集的图，从而提升GNN的鲁棒性？
• RQ3 在生成的图上进行图稠密化和标签平滑度正则化，在多大程度上可缓解标签稀疏性的影响？
• RQ4 所提出的RS-GNN框架对超参数α（链接预测损失权重）和β（标签平滑度损失权重）的敏感性如何？
• RQ5 在对抗攻击和不同标签率下，RS-GNN与现有方法相比在鲁棒性方面表现如何？

主要发现

• 在Corra数据集上，经15% Metattack扰动且仅10%节点标签的情况下，RS-GNN的测试准确率达到71.2%，相较次优基线提升11.5个百分点。
• 消融研究显示，若移除图稠密化（RS-GNN\A）或标签平滑度（RS-GNN\U），性能显著下降，证实两个组件均至关重要。
• 采用GCN作为链接预测器的变体（RS-GNN GCN）表现较差，表明对抗性边会损害GNN性能并降低链接预测质量。
• 随着标签率上升，RS-GNN与RS-GNN\U之间的性能差距缩小，证实标签稀疏性是该方法有效性的关键驱动因素。
• 参数敏感性分析表明，α需仔细调优——在扰动图上若值过高，会导致因过拟合噪声而性能下降。
• β的最优范围（0.03–0.3）在不同数据集上均表现稳健，简化了超参数选择，提升了实际可用性。