[论文解读] GARNET: Reduced-Rank Topology Learning for Robust and Scalable Graph Neural Networks

Chenhui Deng, Xiuyu Li+2 more|arXiv (Cornell University)|Jan 30, 2022

Advanced Graph Neural Networks被引用 5

一句话总结

GARNET 是一种可扩展的谱方法，通过加权谱嵌入和基于概率图模型的精炼，学习低秩、干净的图拓扑，从而增强图神经网络（GNN）的鲁棒性。该方法在最先进的防御方法基础上，实现了最高达10.23%的对抗准确率提升，训练速度提升14.7倍，同时有效保留了关键图结构，并可扩展至包含数百万个节点的大规模图。

ABSTRACT

Graph neural networks (GNNs) have been increasingly deployed in various applications that involve learning on non-Euclidean data. However, recent studies show that GNNs are vulnerable to graph adversarial attacks. Although there are several defense methods to improve GNN robustness by eliminating adversarial components, they may also impair the underlying clean graph structure that contributes to GNN training. In addition, few of those defense models can scale to large graphs due to their high computational complexity and memory usage. In this paper, we propose GARNET, a scalable spectral method to boost the adversarial robustness of GNN models. GARNET first leverages weighted spectral embedding to construct a base graph, which is not only resistant to adversarial attacks but also contains critical (clean) graph structure for GNN training. Next, GARNET further refines the base graph by pruning additional uncritical edges based on probabilistic graphical model. GARNET has been evaluated on various datasets, including a large graph with millions of nodes. Our extensive experiment results show that GARNET achieves adversarial accuracy improvement and runtime speedup over state-of-the-art GNN (defense) models by up to 13.27% and 14.7x, respectively.

研究动机与目标

• 解决 GNN 对图对抗攻击的脆弱性问题，此类攻击通过细微改动边结构实现，难以察觉。
• 克服现有低秩防御方法的局限性，这些方法会破坏干净图结构，并在大规模图上面临高计算成本和内存消耗问题。
• 开发一种可扩展、高效且鲁棒的防御机制，在去除对抗性组件的同时保留关键图拓扑。
• 实现无需依赖同质性假设的同质图与异质图上的有效 GNN 训练。

提出的方法

• 利用从邻接矩阵导出的加权谱嵌入构建基础图，此类嵌入对对抗性扰动具有内在鲁棒性。
• 应用截断奇异值分解（TSVD）以获得保留关键结构信息的低秩谱表示。
• 使用概率图模型（PGM）基于节点嵌入之间的条件依赖关系，识别并移除非关键或有害的边。
• 通过移除条件依赖得分较低的边，实现图的精炼，从而生成稀疏且高质量的图，用于下游 GNN 训练。
• 将精炼后的图集成到 GNN 流程中，避免使用密集邻接矩阵，从而实现高效训练。
• 采用两阶段流程：(1) 通过谱嵌入构建基础图；(2) 通过 PGM 进行边剪枝，以增强鲁棒性。

实验结果

研究问题

• RQ1 低秩谱方法能否在不损害有用拓扑的前提下，有效恢复干净图结构并去除对抗性边？
• RQ2 与基线防御方法相比，GARNET 通过 PGM 实现的图精炼在提升对抗鲁棒性方面表现如何？
• RQ3 GARNET 在包含数百万个节点的大规模图上的可扩展性如何？其效率与现有低秩防御方法相比如何？
• RQ4 与假设同质性的方法不同，GARNET 是否在同质图和异质图上均保持性能？
• RQ5 基础图构建与精炼步骤对最终模型准确率的影响分别是什么？

主要发现

• 在基准数据集上，GARNET 相较于最先进的 GNN 防御模型，将对抗准确率最高提升了 10.23%。
• 与先前的低秩防御方法（如 TSVD 和 ProGNN）相比，GARNET 在端到端训练时间上实现了最高达 14.7 倍的加速。
• 在节点数超过 200 万个的 ogbn-products 数据集上，GARNET 在 4 小时内完成端到端训练，训练速度比 GNNGuard 快 3 倍。
• GARNET 在保持高干净准确率（如 Cora 数据集上为 76.05%）的同时，实现了显著更高的对抗准确率（74.97%），优于基线方法。
• 消融实验表明，与仅使用基础图相比，图精炼步骤带来了约 2% 的准确率增益。
• 可视化结果表明，GARNET 能够成功移除连接不同标签节点的对抗性边，恢复目标节点周围的局部同质性。