[论文解读] EvenNet: Ignoring Odd-Hop Neighbors Improves Robustness of Graph Neural Networks

Runlin Lei, Zhen Wang+3 more|arXiv (Cornell University)|May 27, 2022

Advanced Graph Neural Networks被引用 15

一句话总结

EvenNet 是一种谱图神经网络，通过使用偶次多项式图滤波器忽略奇数跳邻居，从而提升鲁棒性，实现在同质图与异质图之间的强大泛化能力。它在不增加计算成本的前提下，优于现有模型，能够有效防御结构攻击，同时在标准节点分类任务上保持竞争力。

ABSTRACT

Graph Neural Networks (GNNs) have received extensive research attention for their promising performance in graph machine learning. Despite their extraordinary predictive accuracy, existing approaches, such as GCN and GPRGNN, are not robust in the face of homophily changes on test graphs, rendering these models vulnerable to graph structural attacks and with limited capacity in generalizing to graphs of varied homophily levels. Although many methods have been proposed to improve the robustness of GNN models, most of these techniques are restricted to the spatial domain and employ complicated defense mechanisms, such as learning new graph structures or calculating edge attentions. In this paper, we study the problem of designing simple and robust GNN models in the spectral domain. We propose EvenNet, a spectral GNN corresponding to an even-polynomial graph filter. Based on our theoretical analysis in both spatial and spectral domains, we demonstrate that EvenNet outperforms full-order models in generalizing across homophilic and heterophilic graphs, implying that ignoring odd-hop neighbors improves the robustness of GNNs. We conduct experiments on both synthetic and real-world datasets to demonstrate the effectiveness of EvenNet. Notably, EvenNet outperforms existing defense models against structural attacks without introducing additional computational costs and maintains competitiveness in traditional node classification tasks on homophilic and heterophilic graphs.

研究动机与目标

• 为解决 GNN 在测试图中同质性变化下的泛化能力差的问题，特别是在结构攻击下的表现。
• 在不依赖复杂空间域防御方法（如边注意力或图重加权）的前提下，提升谱 GNN 的鲁棒性。
• 基于平衡理论的理论洞察，设计一种简单而有效的谱 GNN，使其在不同同质性水平下均具有良好的泛化能力。
• 验证排除奇数跳邻居可增强模型在同质与异质设置下的鲁棒性。

提出的方法

• 提出 EvenNet，一种基于偶次多项式图滤波器的谱 GNN，可排除来自奇数跳邻居的消息。
• 从平衡理论推导该模型，仅保留偶数阶相互作用（如两步路径）以提升鲁棒性。
• 对滤波器系数施加对称约束，以确保在不同同质性水平下的稳定性与泛化能力。
• 引入谱回归损失（Spectral Regression Loss, SRL），用于在谱域评估滤波器性能，将滤波器形状与图的同质性关联起来。
• 采用 PPR 类似的方法初始化滤波器系数，并调整 α 和 K 等超参数以实现最佳性能。
• 采用简单架构，无额外可学习层或注意力机制，最大限度降低计算开销。

实验结果

研究问题

• RQ1 排除奇数跳邻居是否能提升谱 GNN 在结构攻击下的鲁棒性？
• RQ2 训练与测试图之间的同质性差距如何影响 GNN 的泛化能力？该差距能否被缓解？
• RQ3 仅限偶数阶项的滤波器是否比全阶滤波器在同质与异质图之间具有更好的泛化能力？
• RQ4 简单的谱 GNN 是否能在防御结构攻击方面超越复杂的空间域防御方法？

主要发现

• EvenNet 在 ogbn-arxiv 数据集上对非目标结构攻击的防御性能达到 SOTA 水平，优于 EGCNGuard 和 GCN，且训练时间更短。
• 在 grb-cora 和 grb-citeseer 数据集上，EvenNet 在图注入攻击（GIA）下保持鲁棒性，分别在 TDGIA+HAO 攻击下取得 77.23% 和 70.85% 的准确率。
• 在 chameleon 数据集上，EvenNet 在 MinMax 攻击下取得 52.87% ± 1.88 的准确率，优于 GPRGNN（50.42%）和 H2GCN（51.42%）。
• EvenNet 在标准节点分类任务上保持了具有竞争力的性能，在 PGD+HAO 攻击下于 grb-cora 数据集上取得 76.24% 的准确率，优于 EGCNGuard（75.50%）。
• 该模型以极低的计算开销实现上述结果，在 ogbn-arxiv 上每轮训练仅需 0.38 秒，远低于 EGCNGuard 的 1.181 秒。
• 理论分析证实，偶次多项式滤波器对同质性变化更具鲁棒性，验证了忽略奇数跳邻居这一设计选择的合理性。