[论文解读] Model Sparsity Can Simplify Machine Unlearning

Jinghan Jia, Jiancheng Liu+6 more|arXiv (Cornell University)|Apr 11, 2023

Domain Adaptation and Few-Shot Learning被引用 10

一句话总结

论文显示通过剪枝实现模型稀疏性可以缩小近似 MU 与精确去学习之间的差距，提出 prune-then-unlearn 范式和 sparsity-aware unlearning 以提升效率和效果。

ABSTRACT

In response to recent data regulation requirements, machine unlearning (MU) has emerged as a critical process to remove the influence of specific examples from a given model. Although exact unlearning can be achieved through complete model retraining using the remaining dataset, the associated computational costs have driven the development of efficient, approximate unlearning techniques. Moving beyond data-centric MU approaches, our study introduces a novel model-based perspective: model sparsification via weight pruning, which is capable of reducing the gap between exact unlearning and approximate unlearning. We show in both theory and practice that model sparsity can boost the multi-criteria unlearning performance of an approximate unlearner, closing the approximation gap, while continuing to be efficient. This leads to a new MU paradigm, termed prune first, then unlearn, which infuses a sparse model prior into the unlearning process. Building on this insight, we also develop a sparsity-aware unlearning method that utilizes sparsity regularization to enhance the training process of approximate unlearning. Extensive experiments show that our proposals consistently benefit MU in various unlearning scenarios. A notable highlight is the 77% unlearning efficacy gain of fine-tuning (one of the simplest unlearning methods) when using sparsity-aware unlearning. Furthermore, we demonstrate the practical impact of our proposed MU methods in addressing other machine learning challenges, such as defending against backdoor attacks and enhancing transfer learning. Codes are available at https://github.com/OPTML-Group/Unlearn-Sparse.

研究动机与目标

• 促使机器去学习（MU）成为对数据监管与隐私需求的关键回应。
• 通过引入稀疏性/剪枝来提升 MU 性能的基于模型的视角。
• 提出并评估 prune-then-unlearn 范式和稀疏性感知的去学习，以提升效率与效果。
• 在多指标（UA、MIA-Efficacy、RA、TA、RTE）和多样数据集/模型上提供全栈评估。
• 提供实用的剪枝方法建议，以在保持泛化的同时最大化 MU 的收益。

提出的方法

• 建立剪枝诱导的稀疏性与 MU 效能的理论联系（Prop. 2）。
• 提出一个先剪枝再去学习的方法（考虑 OMP、SynFlow）。
• 推导增强的 influence-unlearning 公式（Prop. 1），并使用 WoodFisher 进行逆 Hessian 梯度乘积。
• 开发一个带 L1 惩罚项的稀疏性感知去学习目标（eq. 3）以及三种稀疏性调度器（常量、线性增长、线性衰减）。
• 在 CIFAR-10/ResNet-18 上（以及附录中的其他设置）对类级忘记和随机忘记在多种去学习方法（FT、GA、FF、IU）下进行评估。
• 在 UA、MIA-Efficacy、RA、TA、RTE 方面比较稀疏模型与密集模型的表现。

Figure 1: Schematic overview of our proposal on model sparsity-driven MU . Evaluation at-a-glance shows the performance of three unlearning methods (retraining-based exact unlearning, finetuning-based approximate unlearning [ 12 ] , and proposed unlearning on 95%-sparse model) under five metrics: un

实验结果

研究问题

• RQ1 模型稀疏性是否能够在多重标准下缩小近似 MU 与精确去学习之间的差距？
• RQ2 先剪枝是否在不同忘记场景和模型中普遍提升 MU 性能？
• RQ3 哪些剪枝方法最有利于 MU 而不影响泛化或效率？
• RQ4 带 L1 正则化的稀疏性感知去学习与标准 MU 方法相比，在性能上有何差异？
• RQ5 在选择稀疏水平和剪枝策略以最大化 MU 收益时有哪些实际指南？

主要发现

• 模型稀疏性在近似去学习与基于再训练的精确去学习之间缩小差距，且在更高稀疏下提升更明显。
• 在 FT、GA、FF、IU 中，稀疏性始终提升去学习效能（UA）和 MIA-Efficacy，保留保真度（RA）通常。
• 在 CIFAR-10/ResNet-18 的 95% 稀疏下，FT 在类级忘记上 UA 最高可提升约 51%，MIA-Efficacy 提升约 8%；总体与 Retrain 的差距减少。
• GA 在稀疏下往往对 RA 的提升较弱，而 FT 和 IU 在 TA 的保持方面更好；剪枝方法 SynFlow 和 OMP 在 MU 上优于 IMP。
• 带线性衰减 gamma 调度器的稀疏性感知去学习相比于常量或增长方案提升了 UA 和 MIA-Efficacy，同时维持 TA。
• 在使用稀疏性感知去学习时，对 FT 的去学习效能提升高达 77%，体现了显著的实际收益。

Figure 5: Performance of sparsity-aware unlearning vs. FT and Retrain on class-wise forgetting and random data forgetting under (CIFAR-10, ResNet-18). Each metric is normalized to $[0,1]$ based on the best result across unlearning methods for ease of visualization, while the actual best value is pro