[论文解读] Machine Unlearning: Solutions and Challenges

Jie Xu, Zihan Wu+2 more|arXiv (Cornell University)|Aug 14, 2023

Privacy-Preserving Technologies in DataComputer Science参考文献 105被引用 3

一句话总结

本文提出了机器遗忘的全面分类与分析，区分了精确遗忘（通过算法微调完全移除数据影响）与近似遗忘（通过参数更新高效最小化影响）。文章识别了关键挑战，并提出了未来研究方向，以实现具备选择性数据删除能力的可信、自适应机器学习。

ABSTRACT

Machine learning models may inadvertently memorize sensitive, unauthorized, or malicious data, posing risks of privacy breaches, security vulnerabilities, and performance degradation. To address these issues, machine unlearning has emerged as a critical technique to selectively remove specific training data points' influence on trained models. This paper provides a comprehensive taxonomy and analysis of the solutions in machine unlearning. We categorize existing solutions into exact unlearning approaches that remove data influence thoroughly and approximate unlearning approaches that efficiently minimize data influence. By comprehensively reviewing solutions, we identify and discuss their strengths and limitations. Furthermore, we propose future directions to advance machine unlearning and establish it as an essential capability for trustworthy and adaptive machine learning models. This paper provides researchers with a roadmap of open problems, encouraging impactful contributions to address real-world needs for selective data removal.

研究动机与目标

• 应对机器学习模型中对敏感、恶意或过时训练数据进行选择性删除的日益增长的需求，以确保隐私与安全。
• 将现有机器遗忘技术分类并分析为精确遗忘与近似遗忘方法，以明确其理论与实践中的权衡。
• 识别在复杂模型中遗忘计算效率、模型泛化能力与隐私保障方面的关键研究空白。
• 为未来研究提供路线图，推动机器遗忘作为可信与自适应AI系统核心能力的发展。
• 通过技术性遗忘机制支持隐私法规（如GDPR与CCPA）的合规性，实现‘被遗忘的权利’。

提出的方法

• 提出机器遗忘的结构化分类体系，将方法划分为精确遗忘（通过重训练完全移除影响）与近似遗忘（通过有限更新实现影响最小化）。
• 回顾最先进技术，包括影响函数、基于梯度的更新与重优化方法，用于凸模型中的近似遗忘。
• 分析现有方法的局限性，特别是在计算成本、缺乏理论保证以及在非凸模型中泛化能力差方面。
• 引入用户指定粒度的遗忘机制，支持对特定语义组件（如敏感图像区域或文本标记）的删除。
• 探索差分隐私与信息论界等隐私增强机制，以在标准隐私预算之外更严格地约束信息泄露。
• 倡导基于信息论与模型可解释性的定量评估指标的开发，以衡量影响保留与移除的准确性。

实验结果

研究问题

• RQ1 如何形式化地将机器遗忘划分为精确与近似方法？二者在计算成本与准确性方面的权衡是什么？
• RQ2 将遗忘扩展至非凸深度神经网络（如CNN与RNN）的关键挑战是什么？如何维持理论保证？
• RQ3 如何实现交互式且可解释的细粒度遗忘，使用户能够指定需删除的数据语义组件？
• RQ4 除差分隐私外，哪些更强的隐私概念可用于严格界定遗忘模型中的信息泄露？
• RQ5 如何设计定量评估指标，以系统性地衡量不同数据点上影响移除与保留的程度？

主要发现

• 精确遗忘通过完全消除数据影响提供强大的理论保证，但计算成本极高，限制其在简单模型中的应用。
• 近似遗忘方法（如基于影响函数与梯度更新的方法）显著降低了计算开销，但无法保证完全移除影响。
• 当前的遗忘技术主要局限于逻辑回归等凸模型，对非凸深度神经网络缺乏有效解决方案。
• 缺乏标准化的评估指标来衡量影响移除与保留的程度，严重阻碍了可复现性与方法比较。
• 现有隐私保护遗忘机制依赖于放宽的差分隐私预算，可能不足以应对高安全要求的应用。
• 未来研究必须解决数据结构异质性、模型可扩展性与用户驱动的遗忘粒度问题，以实现真实世界部署。