[论文解读] Adaptive Machine Unlearning

Varun Gupta, Christopher Jung+4 more|arXiv (Cornell University)|Jun 8, 2021

Privacy-Preserving Technologies in Data参考文献 25被引用 45

一句话总结

本文提出了一种通用化简约，以实现对机器学习中的去学习的自适应删除保障，将差分隐私与最大信息量结合起来，处理跨任意模型类别和训练方法的自适应删除序列，并通过理论和实验演示了先前非自适应方法的局限性。

ABSTRACT

Data deletion algorithms aim to remove the influence of deleted data points from trained models at a cheaper computational cost than fully retraining those models. However, for sequences of deletions, most prior work in the non-convex setting gives valid guarantees only for sequences that are chosen independently of the models that are published. If people choose to delete their data as a function of the published models (because they don't like what the models reveal about them, for example), then the update sequence is adaptive. In this paper, we give a general reduction from deletion guarantees against adaptive sequences to deletion guarantees against non-adaptive sequences, using differential privacy and its connection to max information. Combined with ideas from prior work which give guarantees for non-adaptive deletion sequences, this leads to extremely flexible algorithms able to handle arbitrary model classes and training methodologies, giving strong provable deletion guarantees for adaptive deletion sequences. We show in theory how prior work for non-convex models fails against adaptive deletion sequences, and use this intuition to design a practical attack against the SISA algorithm of Bourtoule et al. [2021] on CIFAR-10, MNIST, Fashion-MNIST.

研究动机与目标

• 在法规与安全压力下推动数据删除（去学习），并降低重新训练成本。
• 对依赖于已发布模型的自适应删除请求序列提供保障。
• 开发一个模块化框架，利用 DP 和 max-information 将非自适应保障扩展到自适应场景。
• 展示现有非自适应方法的局限性，并提出一种实用的、以 DP 驱动的分布式去学习方法。
• 展示在不同数据集和模型族上的理论与实证结果，验证自适应删除保障。

提出的方法

• 定义一个正式的去学习框架，对于自适应删除序列提供 alpha、beta、gamma 保证。
• 提出一个通用化简：如果一个学习/去学习对具有非自适应删除保障且在内部随机性上发布是差分私密的，则自适应保障成立。
• 采用分布式的“类似 SISA”架构，具有独立训练的分片和基于 DP 的聚合，以实现自适应保障。
• 使用差分私密来界定内部随机性与更新之间的最大信息量，从而对自适应对手进行控制。
• 展示私有聚合和 DP 预算管理如何带来自适应保障以及实际的重新训练触发条件。
• 在 CIFAR-10、MNIST 和 Fashion-MNIST 上提供理论分析和实证验证。

实验结果

研究问题

• RQ1 如何将删除保障从非自适应序列扩展到自适应的删除请求序列？
• RQ2 是否可以利用差分隐私和 max-information 为跨任意模型类别提供鲁棒的自适应去学习保障？
• RQ3 在面对自适应删除序列时，现有的非自适应删除方法（如 SISA）有哪些局限？
• RQ4 如何设计一个分布式/去学习框架，在保持性能的同时提供可证明的自适应删除保障？

主要发现

• 一个通用化简表明，自适应删除保障来自非自适应保障再结合在内部随机性上的发布 DP。
• 类似 SISA 的分布式体系在分片数据独立选择且随机性受 DP 保护时，可以实现自适应保障。
• 先前的非凸删除方法在自适应删除序列下可能失效，说明需要基于 DP 的化简。
• 实验揭示在标签仅和白盒设置下，SISA 在自适应删除中的弱点，DP 提供了超出理论保障的缓解。
• 私有聚合和 DP 预算管理实现了实际的自适应去学习，在与完全重新训练相比可接受的准确性权衡。