[论文解读] Certifiably Robust Graph Contrastive Learning

Minhua Lin, Teng Xiao+3 more|arXiv (Cornell University)|Oct 5, 2023

Advanced Graph Neural NetworksComputer Science被引用 3

一句话总结

该论文提出了RES（随机边删除平滑），这是首个针对图对比学习（GCL）的可认证鲁棒性框架，通过基于潜在空间语义相似性的统一鲁棒性准则，并引入随机边删除噪声以实现可证明的鲁棒性。在结构攻击下，OGB-arxiv数据集上最多添加10条边时，其认证准确率达到43.96%，优于基线方法，并在下游任务中展现出可迁移的鲁棒性。

ABSTRACT

Graph Contrastive Learning (GCL) has emerged as a popular unsupervised graph representation learning method. However, it has been shown that GCL is vulnerable to adversarial attacks on both the graph structure and node attributes. Although empirical approaches have been proposed to enhance the robustness of GCL, the certifiable robustness of GCL is still remain unexplored. In this paper, we develop the first certifiably robust framework in GCL. Specifically, we first propose a unified criteria to evaluate and certify the robustness of GCL. We then introduce a novel technique, RES (Randomized Edgedrop Smoothing), to ensure certifiable robustness for any GCL model, and this certified robustness can be provably preserved in downstream tasks. Furthermore, an effective training method is proposed for robust GCL. Extensive experiments on real-world datasets demonstrate the effectiveness of our proposed method in providing effective certifiable robustness and enhancing the robustness of any GCL model. The source code of RES is available at https://github.com/ventr1c/RES-GCL.

研究动机与目标

• 为解决无监督图对比学习（GCL）中缺乏可认证鲁棒性的问题，该问题仍易受结构攻击和基于属性的对抗攻击影响。
• 基于潜在表示空间中的语义相似性，开发一种统一的、无需标签的GCL鲁棒性评估准则。
• 在不依赖标签或在数据增强过程中引入过多噪声边的前提下，实现GCL模型的可证明鲁棒性认证。
• 通过理论和实证验证，确保GCL中的认证鲁棒性能够转化为下游任务中的鲁棒性能。
• 设计一种有效的训练方法，通过在GCL预训练过程中集成随机边删除噪声，以增强模型鲁棒性。

提出的方法

• 提出一种基于潜在空间中节点或图表示之间语义相似性的统一鲁棒性准则，实现无需标签的一致评估。
• 引入随机边删除平滑（RES），一种新颖技术，在推理过程中随机删除边以生成平滑预测，从而提供可证明的鲁棒性。
• 使用μ次蒙特卡洛采样估计扰动下预测的概率边界，通过定理2实现认证。
• 设计一种在预训练过程中整合随机边删除噪声的训练方法，以增强鲁棒性，提升模型对对抗性扰动的抵抗能力。
• 使用置信水平（1−α）控制鲁棒性认证阈值，较高值产生更宽松但更可靠的边界。
• 将该框架应用于GRACE作为基础GCL模型，证明认证鲁棒性可有效迁移至下游任务。

实验结果

研究问题

• RQ1 能否为图对比学习定义一种统一的、无需标签的鲁棒性准则，使其在不同下游任务中一致评估鲁棒性？
• RQ2 随机边删除平滑能否在不引入过多虚假边的情况下，为GCL模型提供可证明的鲁棒性认证？
• RQ3 GCL中的可认证鲁棒性是否能转化为下游分类任务中的鲁棒性能？
• RQ4 与原始随机平滑方法相比，所提出的RES方法在鲁棒性和下游性能方面表现如何？
• RQ5 关键超参数（μ, β, 1−α）对RES框架的认证准确率和鲁棒性有何影响？

主要发现

• 在OGB-arxiv数据集上，RES在攻击者预算为10条新增边的结构攻击下，实现43.96%的认证准确率，显著优于基线方法。
• 在Cora和Pubmed数据集的干净图和噪声图上，RES始终优于使用二值随机噪声的FLIP和FLIP/T变体，验证了其在鲁棒性和表示质量方面的优越性。
• 增加蒙特卡洛采样次数（μ）可提升认证准确率，因为更紧的概率边界可带来更大的认证扰动半径。
• 更高的置信水平（1−α）导致认证准确率略有下降，因为更宽松的概率边界减少了满足认证条件的节点数量。
• 通过注入边删除噪声的训练方法显著增强了GCL模型的鲁棒性，如在Nettack等结构攻击下鲁棒准确率的提升所证实。
• 理论分析证实，使用RES训练的编码器的鲁棒性能在下游任务中可被可证明地保留，弥合了无监督GCL与下游鲁棒性之间的鸿沟。