[论文解读] Machine Unlearning: Linear Filtration for Logit-based Classifiers

Thomas Baumhauer, Pascal Schöttle+1 more|arXiv (Cornell University)|Feb 7, 2020

Adversarial Robustness in Machine Learning被引用 12

一句话总结

本文提出线性过滤（linear filtration），一种计算高效的机器遗忘方法，适用于基于logit的分类器，可在不重新训练的情况下删除整个类别的训练数据。通过对接模型logits应用线性变换（如归一化或投影），该方法有效降低记忆化程度，相比简单删除方法，显著提升了对模型反演攻击的抵抗力。实验结果基于CIFAR-10和MNIST数据集验证了其有效性。

ABSTRACT

Recently enacted legislation grants individuals certain rights to decide in what fashion their personal data may be used, and in particular a "right to be forgotten". This poses a challenge to machine learning: how to proceed when an individual retracts permission to use data which has been part of the training process of a model? From this question emerges the field of machine unlearning, which could be broadly described as the investigation of how to "delete training data from models". Our work complements this direction of research for the specific setting of class-wide deletion requests for classification models (e.g. deep neural networks). As a first step, we propose linear filtration as a intuitive, computationally efficient sanitization method. Our experiments demonstrate benefits in an adversarial setting over naive deletion schemes.

研究动机与目标

• 解决在法律义务（如'被遗忘权'）背景下，高效删除机器学习模型中整个类别训练数据的挑战。
• 开发一种实用且低成本的遗忘方法，避免完整重训练，同时保持模型性能。
• 通过对抗性隐私攻击（特别是模型反演攻击）评估遗忘的有效性，以衡量实际隐私保障能力。
• 提出一种弱化且黑盒化的遗忘定义，使其更符合实际部署场景。
• 证明遗忘可通过在logits上施加简单且可解释的变换实现，从而无需架构修改即可集成到现有模型中。

提出的方法

• 提出线性过滤作为净化方法，在推理后对接模型logits应用线性变换（如归一化或投影）。
• 采用一种假设类，使得过滤操作可被整合到最终层中，实现无需重训练的无缝集成。
• 仅使用每类少量代表性数据点计算变换，最大限度降低计算开销。
• 根据变体（如基于归一化或投影）将变换定义为投影到单位球面或归一化为单位范数。
• 在模型推理后的后处理步骤中应用该方法，确保其以黑盒方式操作模型输出。
• 使用Kiefer-Wolfowitz统计量（KSΦ）和分类器优势度量评估遗忘后的隐私泄露与模型性能。

实验结果

研究问题

• RQ1 是否存在一种计算高效、后处理式的遗忘方法，可在不重新训练的情况下，实现基于logit的分类器中整个类别数据的遗忘？
• RQ2 与简单删除相比，线性过滤在减少记忆化和防止模型反演攻击方面的有效性如何？
• RQ3 基于输出分布相似性的黑盒遗忘定义，是否能为评估遗忘方法提供现实且实用的基准？
• RQ4 遗忘操作是否可被整合到模型的最终层中，从而实现无需架构变更的部署？
• RQ5 不同过滤类型（如归一化与投影）的选择，如何影响不同数据集上的隐私保护与模型性能？

主要发现

• 线性过滤显著降低了模型反演攻击的成功率：在CIFAR-10上，重建质量从接近原始水平（KSΦ ≈ 0.115）降至接近基线水平（KSΦ ≈ 0.038）。
• 基于归一化的线性过滤在对抗性环境下优于简单删除方法，在CIFAR-10上KSΦ降低67%，在MNIST上降低45%。
• 该方法保持了模型的实用性，分类器优势度量在遗忘后保持稳定，表明预测性能未下降。
• 所提出的黑盒遗忘定义在评估隐私保护方法方面有效，尤其在结合对抗性测试时表现突出。
• 归一化过滤在CIFAR-10上达到KSΦ = 0.038，在MNIST上达到KSΦ = 0.10，优于简单删除方法（KSΦ = 0.115 和 0.184），同时在剩余类别上保持基线性能。
• 该方法计算开销极低，仅需每类少量代表性数据点即可计算变换，具备在真实场景中大规模部署的潜力。