[论文解读] Can Bad Teaching Induce Forgetting? Unlearning in Deep Networks using an Incompetent Teacher

Vikram S Chundawat, Ayush K Tarun+2 more|arXiv (Cornell University)|May 17, 2022

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

本文提出了一种新颖的教师-学生蒸馏框架用于机器遗忘，通过使用一个能力较强的教师和一个能力较弱的教师，实现对知识的选择性迁移并诱导深度神经网络中的遗忘。该方法实现了高效、与架构无关的单类/多类及随机子集遗忘，采用一种无需微调模型的新指标（ZRF），性能优异，且速度最高可达微调的70倍。

ABSTRACT

Machine unlearning has become an important area of research due to an increasing need for machine learning (ML) applications to comply with the emerging data privacy regulations. It facilitates the provision for removal of certain set or class of data from an already trained ML model without requiring retraining from scratch. Recently, several efforts have been put in to make unlearning to be effective and efficient. We propose a novel machine unlearning method by exploring the utility of competent and incompetent teachers in a student-teacher framework to induce forgetfulness. The knowledge from the competent and incompetent teachers is selectively transferred to the student to obtain a model that doesn't contain any information about the forget data. We experimentally show that this method generalizes well, is fast and effective. Furthermore, we introduce the zero retrain forgetting (ZRF) metric to evaluate any unlearning method. Unlike the existing unlearning metrics, the ZRF score does not depend on the availability of the expensive retrained model. This makes it useful for analysis of the unlearned model after deployment as well. We present results of experiments conducted for random subset forgetting and class forgetting on various deep networks and across different application domains.~Source code is at: https://github.com/vikram2000b/bad-teaching-unlearning

研究动机与目标

• 为应对日益增长的数据隐私法规（如GDPR和CCPA）对机器遗忘的需求。
• 开发一种无需受限于训练流程的遗忘方法，避免依赖额外模型或特定优化器。
• 在无需微调模型作为参考的情况下评估遗忘效果，支持模型部署后的分析。
• 在最小化隐私泄露风险的同时，提升遗忘的效率与泛化能力。
• 在多种深度学习架构和多媒体应用场景中展示广泛适用性。

提出的方法

• 该方法采用基于双教师的蒸馏框架：一个能力较强的教师（在全部数据上训练）和一个能力较弱的教师（随机初始化或简化模型），以指导知识迁移。
• 从两个教师中选择性地将知识迁移至学生网络，其中能力较弱的教师通过在遗忘样本上产生扭曲预测，促进目标数据的遗忘。
• 能力较弱的教师被实现为一个小型随机初始化神经网络，或一个生成均匀概率预测的随机预测生成器，并加入高斯噪声。
• 学生网络通过结合来自两个教师的知识的蒸馏损失进行训练，其中能力较弱教师的输出抑制了对遗忘数据的记忆化。
• 该框架与架构无关，适用于CNN、视觉Transformer和LSTM，且无需对原始训练过程进行任何修改。
• 提出一种新的评估指标——零微调遗忘（ZRF），用于在无需微调模型作为参考的情况下评估遗忘性能。

实验结果

研究问题

• RQ1 能力较弱的教师是否能有效在不微调的情况下诱导学生网络遗忘？
• RQ2 所提方法在不同遗忘模式（单类、多类及随机子集遗忘）下的表现如何？
• RQ3 该方法是否能在无需训练流程约束的前提下，泛化至多种深度学习架构和应用领域？
• RQ4 ZRF指标与现有评估方法相比，在评估遗忘质量和泛化能力方面表现如何？
• RQ5 使用不同类型的能力较弱教师时，效率与性能之间的权衡如何？

主要发现

• 当使用ResNet34作为能力较弱教师时，遗忘集上的准确率达到1%（火箭类），而使用ResNet18时为15%，随机预测器为5%，表明记忆残留极低。
• 保留集准确率保持在85.8%（ResNet34教师）、85.86%（ResNet18）和86.04%（随机预测器），表明泛化能力出色。
• 当使用部分训练（在50%保留数据上训练1个周期）的模型作为能力较弱教师时，遗忘集准确率为2%，保留集为85.07%，与微调模型的3%和85.79%非常接近。
• ZRF指标与遗忘质量具有强相关性，且无需访问微调模型即可进行评估，使其在实际部署中更具实用性。
• 当使用随机权重教师时，该方法速度最高可达全量微调的70倍，且比Amnesiac学习快20倍以上，性能损失可忽略不计。
• 该框架在模态间具有良好的泛化能力，在图像分类、人体活动识别和癫痫发作检测任务中均表现出有效性。