[论文解读] Machine Unlearning via Algorithmic Stability

Enayat Ullah, Tung Mai+3 more|arXiv (Cornell University)|Feb 25, 2021

Stochastic Gradient Optimization Techniques参考文献 26被引用 4

一句话总结

本文提出了一种新型的算法稳定性概念——全变差（Total Variation, TV）稳定性，实现了机器学习中的精确遗忘。该方法基于带有噪声的随机梯度下降（Stochastic Gradient Descent, SGD），通过马尔可夫链的最大耦合实现高效遗忘，可在凸与非凸问题中实现子重新训练时间内的精确遗忘，并具备强泛化保证，包括差分隐私。

ABSTRACT

We study the problem of machine unlearning and identify a notion of algorithmic stability, Total Variation (TV) stability, which we argue, is suitable for the goal of exact unlearning. For convex risk minimization problems, we design TV-stable algorithms based on noisy Stochastic Gradient Descent (SGD). Our key contribution is the design of corresponding efficient unlearning algorithms, which are based on constructing a (maximal) coupling of Markov chains for the noisy SGD procedure. To understand the trade-offs between accuracy and unlearning efficiency, we give upper and lower bounds on excess empirical and populations risk of TV stable algorithms for convex risk minimization. Our techniques generalize to arbitrary non-convex functions, and our algorithms are differentially private as well.

研究动机与目标

• 为解决模型训练后发生数据修改（删除/插入）时的高效且精确遗忘挑战，特别是针对机器学习中的遗忘问题。
• 形式化一种新的算法稳定性概念——全变差（TV）稳定性，确保模型能够被更新为反映数据修改的效果，如同该数据从未存在过一样。
• 设计既计算高效（快于完整重新训练）又精确的遗忘算法，同时保持模型准确性和隐私性。
• 为凸风险最小化问题中的TV稳定算法建立多余经验风险与总体风险的理论界。
• 将该框架推广至非凸问题，并证明所得算法具备差分隐私特性。

提出的方法

• 提出全变差（TV）稳定性作为正式的稳定性准则，确保学习算法输出分布与未包含特定数据点的模型训练结果不可区分。
• 通过注入噪声的随机梯度下降（SGD）设计TV稳定的学习算法，使噪声在数据修改下保持稳定性。
• 利用马尔可夫链的最大耦合构建高效遗忘算法，模拟从头开始重新训练的效果，而无需从头计算。
• 运用最优传输理论推导TV稳定性的理论界，并将其与差分隐私关联。
• 将该框架应用于凸ERM问题（如逻辑回归），并通过适当的噪声与采样策略将其扩展至非凸场景。
• 提供一个通用的遗忘流水线：先通过加噪学习，再通过耦合实现遗忘，确保精确性与高效性。

实验结果

研究问题

• RQ1 我们能否设计一种通用遗忘框架，确保在不完整重新训练的前提下，对任意平滑凸ERM问题实现精确遗忘？
• RQ2 何种算法稳定性概念可实现精确遗忘，同时保持模型准确性和计算效率？
• RQ3 如何通过耦合随机过程高效计算遗忘更新，特别是针对SGD等序列算法？
• RQ4 TV稳定算法中，遗忘效率、模型准确性与隐私性之间的理论权衡是什么？
• RQ5 TV稳定算法能否扩展至非凸问题，并仍能实现差分隐私？

主要发现

• 通过带噪声SGD实现的TV稳定学习算法，可在远小于完整重新训练时间的遗忘运行时间内实现精确遗忘，尤其在噪声方差适当调优时效果更显著。
• 基于马尔可夫链最大耦合的遗忘算法，确保遗忘后的模型在统计上与从未包含被删除数据的模型完全不可区分。
• 对于凸ERM问题，多余经验风险被界为 $ O\big(\frac{GD\tilde{d}\tilde{\text{log}}(1/\rho\tilde{\rho})}{n\rho\tilde{\rho}}\big) $，其中 $ \rho $ 控制遗忘参数，表明准确性与遗忘效率之间存在权衡。
• 该框架可推广至非凸问题，并生成差分隐私模型，遗忘机制继承自底层带噪声SGD的隐私保证。
• 在MNIST上的实验表明，学习阶段增加噪声方差可减少不稳定修改次数（即触发重新训练的次数），同时保持高测试准确率，证明了实际效率。
• 在低隐私环境（小 $ \rho $）下，该方法在相同运行时间约束下，相比先前工作在相同遗忘成本下实现了更高的准确性。