[论文解读] DeepObliviate: A Powerful Charm for Erasing Data Residual Memory in Deep Neural Networks

Yingzhe He, Guozhu Meng+3 more|arXiv (Cornell University)|May 13, 2021

Privacy-Preserving Technologies in Data参考文献 48被引用 6

一句话总结

DeepObliviate 提出了一种快速、高效的深度神经网络机器遗忘方法，通过复用存储的中间模型，仅选择性地微调受影响的模型组件，实现相较于从零开始重新训练高达75倍的加速，同时保持高精度并通过后门验证。

ABSTRACT

Machine unlearning has great significance in guaranteeing model security and protecting user privacy. Additionally, many legal provisions clearly stipulate that users have the right to demand model providers to delete their own data from training set, that is, the right to be forgotten. The naive way of unlearning data is to retrain the model without it from scratch, which becomes extremely time and resource consuming at the modern scale of deep neural networks. Other unlearning approaches by refactoring model or training data struggle to gain a balance between overhead and model usability. In this paper, we propose an approach, dubbed as DeepObliviate, to implement machine unlearning efficiently, without modifying the normal training mode. Our approach improves the original training process by storing intermediate models on the hard disk. Given a data point to unlearn, we first quantify its temporal residual memory left in stored models. The influenced models will be retrained and we decide when to terminate the retraining based on the trend of residual memory on-the-fly. Last, we stitch an unlearned model by combining the retrained models and uninfluenced models. We extensively evaluate our approach on five datasets and deep learning models. Compared to the method of retraining from scratch, our approach can achieve 99.0%, 95.0%, 91.9%, 96.7%, 74.1% accuracy rates and 66.7$ imes$, 75.0$ imes$, 33.3$ imes$, 29.4$ imes$, 13.7$ imes$ speedups on the MNIST, SVHN, CIFAR-10, Purchase, and ImageNet datasets, respectively. Compared to the state-of-the-art unlearning approach, we improve 5.8% accuracy, 32.5$ imes$ prediction speedup, and reach a comparable retrain speedup under identical settings on average on these datasets. Additionally, DeepObliviate can also pass the backdoor-based unlearning verification.

研究动机与目标

• 解决从零开始重新训练深度神经网络以遗忘特定数据点所带来的高计算成本问题。
• 实现高效机器遗忘，符合 GDPR 和 CCPA 等法规中关于被遗忘权的要求。
• 在最小化重新训练开销的同时，保持高模型精度和可用性。
• 提供一种与标准训练工作流兼容的实用遗忘解决方案，无需修改模型架构。
• 通过基于后门的测试验证遗忘效果，确保数据影响被完全消除。

提出的方法

• 在原始训练过程中定期存储中间模型，以便后续从特定检查点重新训练。
• 通过测量目标数据点在存储模型中随时间变化的影响，量化其时间残余记忆。
• 识别受该数据点影响最严重的模型，并仅使用相同训练数据（但排除目标数据）对这些模型进行重新训练。
• 通过实时监测残余记忆减少的趋势，确定最优的重新训练终止点。
• 将重新训练后的模型与未受影响的模型拼接，形成最终的遗忘模型。
• 使用后门触发器验证遗忘效果，检查模型在遗忘数据上是否不再输出触发标签。

实验结果

研究问题

• RQ1 我们能否在不从头开始重新训练整个模型的情况下实现高效的深度遗忘？
• RQ2 如何识别并仅选择性地重新训练受特定数据点影响的模型部分？
• RQ3 一种有效且高效的方法是什么，可用于确定何时停止重新训练以确保完全遗忘？
• RQ4 该方法是否能在显著减少遗忘时间的同时保持高模型精度？
• RQ5 遗忘后的模型是否能通过严格的验证（如基于后门的测试）以确认数据已被彻底移除？

主要发现

• 在 MNIST、SVHN、CIFAR-10、Purchase 和 ImageNet 上，DeepObliviate 的准确率分别为 99.0%、95.0%、91.9%、96.7% 和 74.1%，与从零开始重新训练相比表现相当。
• 与完整重新训练相比，DeepObliviate 在 MNIST、SVHN、CIFAR-10、Purchase 和 ImageNet 上分别实现了 66.7×、75.0×、33.3×、29.4× 和 13.7× 的加速。
• 与当前最先进的遗忘方法相比，DeepObliviate 在平均精度上提高了 5.8%，预测速度提升了 32.5×。
• 在相同设置下，该方法在重新训练速度上与当前最先进方法相当，但在精度上显著更优。
• DeepObliviate 通过了基于后门的遗忘验证，确认遗忘数据不再影响模型预测。
• 该方法与模型无关，且与标准训练流程兼容，无需修改原始模型架构或训练过程。