[论文解读] Deep Regression Unlearning

Ayush K Tarun, Vikram S Chundawat+2 more|arXiv (Cornell University)|Oct 15, 2022

Machine Learning and Data Classification被引用 8

一句话总结

本文提出了首个深度回归遗忘学习方法——Blindspot与Gaussian Amnesiac，通过协同权重优化，选择性地移除遗忘数据的知识，同时保留保留数据的性能。Blindspot方法使用一个随机初始化的模型和原始模型的副本，通过三种损失函数优化遗忘过程，在视觉、自然语言处理和预测任务中均实现了最先进性能，并展现出对隐私攻击的卓越鲁棒性。

ABSTRACT

With the introduction of data protection and privacy regulations, it has become crucial to remove the lineage of data on demand from a machine learning (ML) model. In the last few years, there have been notable developments in machine unlearning to remove the information of certain training data efficiently and effectively from ML models. In this work, we explore unlearning for the regression problem, particularly in deep learning models. Unlearning in classification and simple linear regression has been considerably investigated. However, unlearning in deep regression models largely remains an untouched problem till now. In this work, we introduce deep regression unlearning methods that generalize well and are robust to privacy attacks. We propose the Blindspot unlearning method which uses a novel weight optimization process. A randomly initialized model, partially exposed to the retain samples and a copy of the original model are used together to selectively imprint knowledge about the data that we wish to keep and scrub off the information of the data we wish to forget. We also propose a Gaussian fine tuning method for regression unlearning. The existing unlearning metrics for classification are not directly applicable to regression unlearning. Therefore, we adapt these metrics for the regression setting. We conduct regression unlearning experiments for computer vision, natural language processing and forecasting applications. Our methods show excellent performance for all these datasets across all the metrics. Source code: https://github.com/ayu987/deep-regression-unlearning

研究动机与目标

• 为解决深度回归模型缺乏有效遗忘学习方法的问题，尽管隐私法规日益严格，但该领域仍基本未被探索。
• 开发在深度学习回归设置中高效、可扩展且对隐私攻击具有鲁棒性的遗忘学习技术。
• 将基于分类的遗忘学习评估指标（如AIN、$att\_prob$、$w\_dist$和遗忘相似性）适配至回归任务，确保对遗忘质量的有意义评估。
• 在训练敏感数据的回归模型中实现‘被遗忘的权利’的实际应用。
• 展示方法在多样化回归应用中的泛化能力，包括计算机视觉、自然语言处理和时间序列预测。

提出的方法

• 提出Blindspot遗忘学习方法，该方法使用一个在保留数据上部分训练的随机初始化模型，以及原始模型的副本，通过协同权重优化实现遗忘。
• 采用一种新颖的权重优化流程，包含三种损失函数：一种用于保留数据，一种用于遗忘数据，一种用于从原始模型进行知识蒸馏。
• 提出Gaussian Amnesiac方法，通过高斯噪声注入策略微调模型，以在回归任务中诱导遗忘。
• 将基于分类的遗忘学习指标（如AIN、$att\_prob$、$w\_dist$和遗忘相似性）适配至回归评估。
• 采用协作训练设置，其中部分训练的模型学习保留保留数据，而原始权重副本则帮助抑制遗忘数据的影响。
• 在多样化回归任务中应用该方法：图像回归、句子相似性（STS-B）和电力负荷预测。

实验结果

研究问题

• RQ1 能否在现有方法基本未被探索的深度回归模型中实现有效且高效的遗忘学习？
• RQ2 如何在不从头开始重新训练的前提下，在深度回归模型中实现遗忘学习，同时保持对保留数据的模型性能？
• RQ3 在深度回归模型中，哪些新颖的优化策略能有效去除遗忘数据的信息，同时保留保留数据的知识？
• RQ4 基于分类的遗忘学习指标在回归任务中如何泛化？为实现有意义的评估，需要进行哪些调整？
• RQ5 所提出的方法在回归设置中对成员推断攻击及其他隐私威胁的鲁棒性如何？

主要发现

• 在AgeDB 0-30区间遗忘任务中，Blindspot方法的AIN得分最低，仅为1.00，显著优于FineTune（0.33）和Gaussian Amnesiac（0.66）。
• 在STS-B数据集上，当遗忘2015个样本时，Blindspot的遗忘集误差（2.47）和$att\_prob$（0.34）最低，优于FineTune（2.35，0.50）和Gaussian Amnesiac（2.30，0.47）。
• 在电力负荷预测任务中，当遗忘值≥0.85时，Blindspot的$att\_prob$最低，为0.17，优于FineTune（0.29）和Gaussian Amnesiac（0.36）。
• 在$<=-0.85$区间，Blindspot的$w\_dist$最低，为0.13，优于FineTune（0.54）和Gaussian Amnesiac（2.25），表明其权重分布与微调后模型的相似性更优。
• Blindspot方法在所有指标上表现最为一致，$att\_prob$、$w\_dist$和AIN得分均最低，表明对隐私攻击具有强大鲁棒性。
• 所提方法在四个多样化数据集上均优于基线微调和Gaussian Amnesiac，证明了其在视觉、自然语言处理和时间序列回归任务中的泛化能力。