[论文解读] Certified Graph Unlearning

Eli Chien, Chao Pan+1 more|arXiv (Cornell University)|Jun 18, 2022

Advanced Graph Neural Networks被引用 5

一句话总结

本文提出了首个图神经网络（GNN）的认证图去学习框架，支持在不降低模型性能的前提下，可证明地移除节点、边或特征。该方法基于广义PageRank（GPR）和简单图卷积（SGC）实现解析去学习，相较于在Cora数据集上重新训练，实现接近零的准确率损失（0.1%）和4倍的速度提升，相较于非图感知方法在准确率上高出12%，且计算复杂度相当。

ABSTRACT

Graph-structured data is ubiquitous in practice and often processed using graph neural networks (GNNs). With the adoption of recent laws ensuring the ``right to be forgotten'', the problem of graph data removal has become of significant importance. To address the problem, we introduce the first known framework for \emph{certified graph unlearning} of GNNs. In contrast to standard machine unlearning, new analytical and heuristic unlearning challenges arise when dealing with complex graph data. First, three different types of unlearning requests need to be considered, including node feature, edge and node unlearning. Second, to establish provable performance guarantees, one needs to address challenges associated with feature mixing during propagation. The underlying analysis is illustrated on the example of simple graph convolutions (SGC) and their generalized PageRank (GPR) extensions, thereby laying the theoretical foundation for certified unlearning of GNNs. Our empirical studies on six benchmark datasets demonstrate excellent performance-complexity trade-offs when compared to complete retraining methods and approaches that do not leverage graph information. For example, when unlearning $20\%$ of the nodes on the Cora dataset, our approach suffers only a $0.1\%$ loss in test accuracy while offering a $4$-fold speed-up compared to complete retraining. Our scheme also outperforms unlearning methods that do not leverage graph information with a $12\%$ increase in test accuracy for a comparable time complexity.

研究动机与目标

• 为满足隐私法规（如'被遗忘的权利'）在图结构化数据中日益增长的数据删除需求。
• 形式化并解决图数据中去学习所面临的独特挑战，包括消息传递过程中的特征混合问题。
• 开发一种认证去学习框架，确保在不完全重新训练的前提下，去学习后模型性能仍得到保障。
• 将去学习从标准机器学习扩展至GNN中的节点、边和特征层面的删除。
• 基于SGC和GPR模型，建立GNN中认证去学习的理论基础。

提出的方法

• 提出一种认证去学习框架，通过解析方式在数据删除后直接修改GNN权重，避免完全重新训练。
• 以广义PageRank（GPR）层为基础，建模消息传递过程，实现闭式去学习更新。
• 利用GPR和SGC的谱特性，推导出节点、边和特征删除的解析去学习规则。
• 采用基于扰动的分析方法，确保去学习过程在可证明的范围内保持模型性能。
• 采用两阶段方法：首先，基于图结构计算去学习更新；其次，将更新应用于模型权重，以反映数据的删除。
• 在六个基准数据集上使用SGC和GPR模型验证该方法，证明其高效性与准确率保持能力。

实验结果

研究问题

• RQ1 我们能否正式认证：在从训练数据中移除特定节点、边或特征后，GNN模型仍能保持准确？
• RQ2 考虑到图结构中复杂的特征传播机制，如何在不完全重新训练的前提下实现GNN的去学习？
• RQ3 可采用哪些解析技术推导出GNN的可证明去学习更新，特别是针对SGC和GPR模型？
• RQ4 与非图感知方法相比，图结构感知的去学习在准确率和效率方面表现如何？
• RQ5 在不同去学习场景下，去学习准确率、计算成本与模型性能之间的权衡关系是什么？

主要发现

• 在Cora数据集上，移除20%的节点仅导致测试准确率下降0.1%，表明性能退化极小。
• 与完整重新训练相比，该方法实现了4倍的速度提升，显著提高了效率。
• 该方法在测试准确率上比非图感知去学习方法高出12%，同时保持相近的时间复杂度。
• 该框架成功处理了三种不同的去学习类型：节点、边和特征删除，且具有可证明的保证。
• 在六个基准数据集上的实证结果证实了良好的性能-复杂度权衡，验证了理论基础的可靠性。
• 使用GPR和SGC模型可实现闭式去学习更新，使该方法兼具高效性与可认证性。