[论文解读] Certifiable Machine Unlearning for Linear Models

Ananth Mahadevan, Michael Mathioudakis|arXiv (Cornell University)|Jun 29, 2021

Machine Learning and Data Classification参考文献 23被引用 11

一句话总结

本文对三种最先进的近似机器遗忘方法——Fisher、Influence 和 DeltaGrad——在线性模型上的表现进行了全面的实验评估，展示了它们在效率、有效性与可认证性之间的权衡。论文提出了一种实用的在线策略，用于检测累积遗忘错误是否需要触发完整微调，通过线性估计器预测认证差异，确保保守的准确性。

ABSTRACT

Machine unlearning is the task of updating machine learning (ML) models after a subset of the training data they were trained on is deleted. Methods for the task are desired to combine effectiveness and efficiency, i.e., they should effectively "unlearn" deleted data, but in a way that does not require excessive computation effort (e.g., a full retraining) for a small amount of deletions. Such a combination is typically achieved by tolerating some amount of approximation in the unlearning. In addition, laws and regulations in the spirit of "the right to be forgotten" have given rise to requirements for certifiability, i.e., the ability to demonstrate that the deleted data has indeed been unlearned by the ML model. In this paper, we present an experimental study of the three state-of-the-art approximate unlearning methods for linear models and demonstrate the trade-offs between efficiency, effectiveness and certifiability offered by each method. In implementing the study, we extend some of the existing works and describe a common ML pipeline to compare and evaluate the unlearning methods on six real-world datasets and a variety of settings. We provide insights into the effect of the quantity and distribution of the deleted data on ML models and the performance of each unlearning method in different settings. We also propose a practical online strategy to determine when the accumulated error from approximate unlearning is large enough to warrant a full retrain of the ML model.

研究动机与目标

• 评估三种领先的线性模型近似遗忘方法在效率、有效性与可认证性方面的性能权衡。
• 识别近似遗忘方法仍具可行性与必须触发完整微调的实际条件。
• 开发并验证一种在线策略，用于检测近似遗忘产生的误差是否超过可接受阈值，从而触发完整微调。
• 提供一个标准化的实验流程，用于在多种真实世界数据集和删除模式下比较不同遗忘方法。
• 通过支持可验证的遗忘而无需完整微调，助力满足如“被遗忘的权利”等数据隐私法规要求。

提出的方法

• 作者实现了一个统一的机器学习流程，包含三个阶段：在初始数据上进行训练，使用训练好的模型进行推理，以及通过删除部分训练数据实现遗忘。
• 在六组真实世界数据集上，针对不同删除比例和分布（随机、目标性、目标-随机组合）评估了三种遗忘方法——Fisher、Influence 和 DeltaGrad。
• 关键创新在于提出一个线性估计器，利用初始模型准确率（AccErr_init）预测认证差异（AccDis），从而实现实时评估遗忘质量。
• 该方法采用基于阈值的在线策略：若预测的 AccDis 超过预设上限，则触发在剩余数据上的完整微调。
• 估计器通过实证数据校准，并通过皮尔逊与斯皮尔曼等级相关性分析，在不同数据集上验证 AccErr_init 与 AccDis 之间的关系。
• 性能通过测试准确率、遗忘时间以及预测估计器的均方误差（MSE）等误差指标进行衡量。

实验结果

研究问题

• RQ1 在不同数据集和删除模式下，三种遗忘方法——Fisher、Influence 和 DeltaGrad——在效率、有效性与可认证性方面的表现如何比较？
• RQ2 初始模型准确率（AccErr_init）与认证差异（AccDis）之间存在何种关系？该关系是否可被可靠估计以指导微调决策？
• RQ3 近似遗忘累积误差在何时会大到无法维持可认证性要求？
• RQ4 是否可以使用轻量级、实时的估计器预测何时必须触发完整微调，从而避免过度计算成本？
• RQ5 删除比例和数据分布（如随机 vs. 目标性）如何影响遗忘方法的性能与可靠性？

主要发现

• Fisher 和 Influence 方法在效率和有效性方面表现优异，相较于完整微调显著提升了速度，同时保持了良好的准确率。
• DeltaGrad 表现稳定，但在速度和准确率方面相比 Fisher 和 Influence 略显不足。
• 在大多数数据集中，AccErr_init 与 AccDis 之间存在强烈的正相关性（皮尔逊相关系数 r > 0.9），支持使用线性估计器预测认证差异。
• 所提出的 AccDis 线性估计器在大多数数据集上表现出较低的均方误差（MSE < 50），但在 Higgs（MSE = 2445.24）和 Covtype（MSE = 427.77）上误差较高，归因于更高的方差和较低的相关性。
• 所提出的在线微调触发策略能有效识别遗忘误差累积超过可接受水平的情况，其保守的过估计特性确保了合规性。
• 研究证实，可认证性与有效性之间存在权衡：遗忘被删除数据会降低模型准确率，但所提方法通过及时微调有效平衡了这一权衡。