[论文解读] Edge Dithering for Robust Adaptive Graph Convolutional Networks

Vassilis N. Ioannidis, Georgios B. Giannakis|arXiv (Cornell University)|Oct 21, 2019

Advanced Graph Neural Networks参考文献 26被引用 9

一句话总结

该论文提出了用于自适应图卷积网络的边缘抖动方法（ED-AGCN），这是一种鲁棒的半监督学习框架，通过生成多个边缘抖动的辅助图来缓解图结构中存在噪声或对抗性扰动时导致的性能下降。通过学习自适应的图组合权重并应用基于图的正则化项，ED-AGCN 在随机、噪声和对抗性边缘扰动下显著提升了标准图卷积网络（GCN）的鲁棒性，甚至在无节点特征的情况下依然表现优异。

ABSTRACT

Graph convolutional networks (GCNs) are vulnerable to perturbations of the graph structure that are either random, or, adversarially designed. The perturbed links modify the graph neighborhoods, which critically affects the performance of GCNs in semi-supervised learning (SSL) tasks. Aiming at robustifying GCNs conditioned on the perturbed graph, the present paper generates multiple auxiliary graphs, each having its binary 0-1 edge weights flip values with probabilities designed to enhance robustness. The resultant edge-dithered auxiliary graphs are leveraged by an adaptive (A)GCN that performs SSL. Robustness is enabled through learnable graph-combining weights along with suitable regularizers. Relative to GCN, the novel AGCN achieves markedly improved performance in tests with noisy inputs, graph perturbations, and state-of-the-art adversarial attacks. Further experiments with protein interaction networks showcase the competitive performance of AGCN for SSL over multiple graphs.

研究动机与目标

• 为解决图卷积网络（GCN）在图边随机噪声和对抗性攻击等结构扰动下的脆弱性问题。
• 开发一种在节点特征不可用或不可靠时仍能有效运行的鲁棒半监督学习框架。
• 通过概率性边缘抖动恢复原始节点邻域，实现在图结构被破坏的情况下仍能恢复准确的局部表征。
• 通过学习动态、分层特定的权重来组合多个抖动的辅助图，从而提升泛化能力和鲁棒性。
• 在真实世界数据集上验证该方法在随机和对抗性边扰动下的性能，证明其持续的性能提升。

提出的方法

• 边缘抖动通过可学习的概率 $ q_1 $（边生成）和 $ q_2 $（边删除）随机添加或删除边，以高概率重建原始邻域结构。
• 该方法构建了 $ I $ 个独立的边缘抖动图 $ \bar{\mathbf{A}}_i $，每个图均从边翻转的伯努利分布中采样，以保持结构多样性。
• 自适应图卷积网络（AGCN）层间使用可学习权重 $ \alpha_i $，将所有抖动图的特征进行组合，以优化方式突出未受扰动的邻域。
• 引入残差连接以促进特征传播并改善层间梯度流动。
• 引入基于图的正则化项以防止过拟合并强制满足底层拓扑的平滑性。
• 使用交叉熵损失结合 L2 正则化和图正则化项进行端到端训练，使模型在无需节点特征的情况下仍具备鲁棒性。

实验结果

研究问题

• RQ1 通过精心选择的概率进行边缘抖动，是否能有效在图结构扰动下恢复节点的原始邻域结构？
• RQ2 对多个抖动图进行自适应融合，如何提升在对抗性攻击下半监督节点分类任务中的鲁棒性？
• RQ3 当节点特征缺失或受损时，所提出的 AGCN 在多大程度上能超越标准 GCN？
• RQ4 AGCN 的性能对超参数（如抖动图数量 $ I $、边创建/删除概率 $ q_1 $ 和 $ q_2 $）的敏感程度如何？
• RQ5 ED-AGCN 框架是否能在具有固有噪声或结构异常的真实图上保持优异性能？

主要发现

• 在 Cora 数据集上，AGCN 在 40 个节点遭受对抗性攻击时达到 84.00% 的准确率，而 GCN 仅为 62.39%，显著提升了鲁棒性。
• 在 Cora 数据集中，30 个节点受到攻击时，AGCN 达到 82.00% 的准确率，优于 GCN 的 74.66%，即使原始图已被扰动。
• 在 Citeseer 数据集中，AGCN 在 20 个节点受攻击时保持 70.99% 的准确率，而 GCN 仅为 60.49%，在对抗性设置下表现出一致的性能优势。
• 即使在无边扰动的情况下，AGCN 在所有数据集上的表现也优于 GCN，表明真实世界图中可能含有噪声或虚假边，而 AGCN 能有效缓解此类问题。
• AGCN 在 $ q_1 $、$ q_2 $ 和 $ I $ 的多种取值范围内表现相对稳定，即使在 $ I=5 $ 的低数量下也取得显著提升，表明其对超参数选择具有鲁棒性。
• 在伯努利噪声实验中，随着边扰动比例增加，AGCN 保持高准确率，而 GCN 在边扰动超过 20% 后性能急剧下降。