[论文解读] Measuring Forgetting of Memorized Training Examples

Matthew Jagielski, Om Thakkar+9 more|arXiv (Cornell University)|Jun 30, 2022

Adversarial Robustness in Machine Learning被引用 15

一句话总结

本文提出一种方法，通过成员推理攻击衡量机器学习模型随时间对特定训练样本的记忆衰退程度，以评估隐私泄露风险。研究发现，使用随机梯度下降训练的模型由于数据随机性和非确定性，会逐渐遗忘早期训练样本，从而带来被动的隐私保护优势，尤其在大规模预训练模型中，早期数据对成员推理攻击的脆弱性会随之降低。

ABSTRACT

Machine learning models exhibit two seemingly contradictory phenomena: training data memorization, and various forms of forgetting. In memorization, models overfit specific training examples and become susceptible to privacy attacks. In forgetting, examples which appeared early in training are forgotten by the end. In this work, we connect these phenomena. We propose a technique to measure to what extent models "forget" the specifics of training examples, becoming less susceptible to privacy attacks on examples they have not seen recently. We show that, while non-convex models can memorize data forever in the worst-case, standard image, speech, and language models empirically do forget examples over time. We identify nondeterminism as a potential explanation, showing that deterministically trained models do not forget. Our results suggest that examples seen early when training with extremely large datasets - for instance those examples used to pre-train a model - may observe privacy benefits at the expense of examples seen later.

研究动机与目标

• 探究机器学习模型是否会在训练过程中随时间遗忘特定的训练样本，特别是在大规模训练或微调场景下。
• 确定遗忘是否减少记忆化程度，从而缓解成员推理攻击带来的隐私风险。
• 识别影响遗忘速率的关键因素，如训练顺序、数据重复率以及训练算法的确定性。
• 理解遗忘的根本原因，特别是随机梯度下降中的随机性与确定性训练的对比作用。
• 评估被动遗忘是否在实践中提供隐私保护优势，尤其针对在大规模数据集上预训练的模型。

提出的方法

• 使用最先进的成员推理攻击来衡量模型是否仍能检测某个特定训练样本是否曾被用于训练。
• 在视觉、语音和自然语言处理任务上训练模型，并随时间测量成员推理的成功率，以量化遗忘程度。
• 将使用随机梯度下降（SGD）训练的模型与确定性训练的模型进行对比，以隔离非确定性的作用。
• 在理论均值估计任务中引入数据点，证明梯度更新中的随机性会导致遗忘现象。
• 使用Rényi散度来界定使用正负数据点注入训练的模型之间的隐私泄露边界。
• 通过受控训练实验分析数据顺序和重复性对遗忘速率的影响。

实验结果

研究问题

• RQ1 在训练过程中，机器学习模型在多大程度上会遗忘特定的训练样本，尤其是数据集中早期出现的样本？
• RQ2 随机梯度下降的随机性是否会导致模型逐渐失去对早期训练样本的记忆，从而减少记忆化并降低隐私风险？
• RQ3 与随机训练相比，确定性训练在样本保留能力和对成员推理攻击的敏感性方面有何差异？
• RQ4 在大规模预训练过程中，早期样本的遗忘是否能为这些样本带来被动的隐私保护优势？
• RQ5 哪些因素（如数据顺序、重复率或学习率）对遗忘速率的影响最为显著？

主要发现

• 使用随机梯度下降训练的模型会随时间遗忘早期训练样本，从而降低其对成员推理攻击的敏感性。
• 在确定性训练的模型中，遗忘现象显著减少或完全消失，表明随机性是遗忘的关键驱动因素。
• 在单次或少数次训练周期的设置下，越早被看到且未重复的数据样本，其遗忘速率越快。
• 在理论均值估计任务中，使用正负数据点注入训练的模型之间的Rényi散度随训练步数衰减，证明遗忘现象由随机性引起。
• 在大规模数据集上预训练的模型可能因遗忘现象而获得被动隐私保护优势，因为早期样本随时间推移变得难以识别。
• 非凸模型（如k-means）由于非凸性导致隐私泄露，这是该背景下首次发现此类现象。