[论文解读] PUMA: Performance Unchanged Model Augmentation for Training Data Removal

Ga Wu, Masoud Hashemi+1 more|arXiv (Cornell University)|Mar 2, 2022

Advanced Neural Network Applications被引用 11

一句话总结

PUMA 提出了一种新颖的方法，在不重新训练模型的前提下，通过约束优化对剩余数据进行重加权，从而从深度学习模型中去除标记训练数据点的可识别特征，有效抵抗成员推理攻击并保持校准性，其在效率和性能保持方面优于重新训练和先前的移除技术。

ABSTRACT

Preserving the performance of a trained model while removing unique characteristics of marked training data points is challenging. Recent research usually suggests retraining a model from scratch with remaining training data or refining the model by reverting the model optimization on the marked data points. Unfortunately, aside from their computational inefficiency, those approaches inevitably hurt the resulting model's generalization ability since they remove not only unique characteristics but also discard shared (and possibly contributive) information. To address the performance degradation problem, this paper presents a novel approach called Performance Unchanged Model Augmentation~(PUMA). The proposed PUMA framework explicitly models the influence of each training data point on the model's generalization ability with respect to various performance criteria. It then complements the negative impact of removing marked data by reweighting the remaining data optimally. To demonstrate the effectiveness of the PUMA framework, we compared it with multiple state-of-the-art data removal techniques in the experiments, where we show the PUMA can effectively and efficiently remove the unique characteristics of marked training data without retraining the model that can 1) fool a membership attack, and 2) resist performance degradation. In addition, as PUMA estimates the data importance during its operation, we show it could serve to debug mislabelled data points more efficiently than existing approaches.

研究动机与目标

• 解决在保留性能的前提下从训练模型中移除独特数据特征的挑战。
• 克服在数据移除后从头开始重新训练所导致的计算效率低下和性能下降问题。
• 开发一种方法，在移除标记数据点后仍能保持模型的泛化能力和校准性。
• 实现在在线机器学习服务中对数据移除请求的高效、实时响应。
• 提供一个框架，还可用于检测和调试模型输出中的误标或异常预测。

提出的方法

• PUMA 使用多种标准（而不仅训练目标）来建模每个训练数据点对模型性能的影响。
• 其将问题表述为一个约束优化问题，通过重加权剩余数据点来补偿移除标记数据带来的负面影响。
• 重加权是稀疏且最优的，作为线性补丁应用于原始模型，无需完整重新训练。
• 使用性能指标（如期望校准误差，ECE）指导优化，以确保鲁棒性。
• 该框架利用影响函数和基于梯度的估计方法评估数据重要性，并指导重加权过程。
• PUMA 可结合不同性能指标（例如 ECE、准确率）应用，以适应各种模型校准或鲁棒性需求。

实验结果

研究问题

• RQ1 是否可以在不重新训练的情况下实现数据移除，同时保持模型性能？
• RQ2 如何通过重加权剩余数据来补偿移除标记数据带来的负面影响？
• RQ3 PUMA 是否能有效隐藏特定数据特征，从而抵抗成员推理攻击？
• RQ4 PUMA 在多大程度上提升了模型校准性，并能准确检测误标或异常预测？
• RQ5 PUMA 在在线机器学习服务中是否具备可扩展性，并能有效实现实时数据移除？

主要发现

• PUMA 通过消除独特数据特征，在不造成性能下降的情况下成功欺骗了成员推理攻击。
• PUMA 增强后，模型的期望校准误差（ECE）显著降低，表明预测可靠性得到提升。
• PUMA 高度准确地识别并隔离了误标的数据点、过度自信的预测以及过度不确定的预测。
• 该方法在移除标记数据点后，仍能保持与原始模型相当的模型性能。
• PUMA 在效率和性能保持方面均优于重新训练和先前的移除方法。
• 该框架可在无需完整重新训练的情况下，实现对模型问题（如校准偏差和标签错误）的调试。