[论文解读] GNNDelete: A General Strategy for Unlearning in Graph Neural Networks

Jiali Cheng, George Dasoulas+3 more|arXiv (Cornell University)|Feb 26, 2023

Advanced Graph Neural Networks被引用 4

一句话总结

GNNDelete 提出了一种模型无关的、逐层的图神经网络遗忘机制，可在不重新训练的情况下高效删除节点、边和节点特征，同时保持模型性能。它通过可学习的删除权重矩阵强制实现已删除边的一致性与邻域影响控制，在边删除任务中 AUC 最高提升 38.8%，与从零开始重新训练相比，遗忘时间减少 12.3 倍。

ABSTRACT

Graph unlearning, which involves deleting graph elements such as nodes, node labels, and relationships from a trained graph neural network (GNN) model, is crucial for real-world applications where data elements may become irrelevant, inaccurate, or privacy-sensitive. However, existing methods for graph unlearning either deteriorate model weights shared across all nodes or fail to effectively delete edges due to their strong dependence on local graph neighborhoods. To address these limitations, we introduce GNNDelete, a novel model-agnostic layer-wise operator that optimizes two critical properties, namely, Deleted Edge Consistency and Neighborhood Influence, for graph unlearning. Deleted Edge Consistency ensures that the influence of deleted elements is removed from both model weights and neighboring representations, while Neighborhood Influence guarantees that the remaining model knowledge is preserved after deletion. GNNDelete updates representations to delete nodes and edges from the model while retaining the rest of the learned knowledge. We conduct experiments on seven real-world graphs, showing that GNNDelete outperforms existing approaches by up to 38.8% (AUC) on edge, node, and node feature deletion tasks, and 32.2% on distinguishing deleted edges from non-deleted ones. Additionally, GNNDelete is efficient, taking 12.3x less time and 9.3x less space than retraining GNN from scratch on WordNet18.

研究动机与目标

• 解决图神经网络中缺乏有效且高效的遗忘方法的问题，实现无需重新训练即可删除节点、边和节点特征。
• 确保被删除的图元素不再影响模型预测，满足精确遗忘的原则。
• 通过最小化对邻近表示的意外影响，保持模型在剩余数据上的预测性能。
• 开发一种通用的、与模型无关的遗忘策略，适用于任何图神经网络架构。
• 与完整重新训练相比，显著降低计算成本和内存使用，尤其适用于大规模图。

提出的方法

• 提出一种逐层遗忘算子，通过学习删除权重矩阵 $W_D$ 来更新被删除元素后的节点表示。
• 通过确保模型对已删除边的预测变为随机（AUC ≈ 0.5）来强制实现已删除边一致性，表明无残留影响。
• 通过最小化被删除元素局部邻域中节点表示的变化来强制实现邻域影响控制。
• 优化一个复合损失函数，结合一致性与影响目标，以平衡遗忘准确率与模型保真度。
• 仅对受删除元素影响的层应用删除算子，实现在无需完整重新训练的情况下高效推理。
• 支持删除节点、节点标签和边，并与多种图神经网络架构（包括 GCN 和 GAT）兼容。

实验结果

研究问题

• RQ1 能否为图神经网络设计一种通用的遗忘方法，有效消除被删除图元素的影响？
• RQ2 如何在不降低模型在剩余数据上性能的前提下实现遗忘？
• RQ3 该方法能否在显著降低时间和内存开销的前提下，实现与重新训练相比的高效率？
• RQ4 该方法是否通过最小化对邻近节点表示的改变，从而保持图的因果结构？
• RQ5 该方法在不同真实世界图和不同类型删除（边、节点、特征）下的表现如何？

主要发现

• 在 WordNet18 数据集上，GNNDelete 在完整删除条件下，边删除任务的 AUROC 达到 0.976，相比次优基线最高提升 38.8%。
• 在区分被删除边与未被删除边的任务中，GNNDelete 相较于现有方法性能提升 32.2%。
• 在 WordNet18 数据集上，与完整重新训练相比，GNNDelete 将遗忘时间减少 12.3 倍，内存使用减少 9.3 倍。
• GNNDelete 在节点级和图级任务中均保持高性能，多数基准测试的 AUROC 分数稳定高于 0.93。
• 即使在遗忘准确率的黄金标准——重新训练——的对比下，GNNDelete 在边删除任务中仍表现出更高的遗忘准确率。
• 消融实验证实，已删除边一致性与邻域影响控制均对高性能至关重要，任一模块的消融均导致 AUROC 下降超过 10%。