[论文解读] Measuring Unintended Memorisation of Unique Private Features in Neural Networks

John Hartley, Sotirios A. Tsaftaris|arXiv (Cornell University)|Feb 16, 2022

Machine Learning in Healthcare被引用 5

一句话总结

本文提出了一种黑箱记忆分数，用于检测训练好的神经网络中对唯一私有特征（如医学图像中的患者姓名）的非故意记忆。通过比较模型在经过修改的分布外图像上的输出的KL散度，该方法揭示了即使在应用正则化（如Dropout、批量归一化、数据增强）的情况下，MNIST、Fashion-MNIST和CIFAR-10上的模型仍会记忆训练数据中仅出现一次的唯一特征，从而带来显著的隐私风险。

ABSTRACT

Neural networks pose a privacy risk to training data due to their propensity to memorise and leak information. Focusing on image classification, we show that neural networks also unintentionally memorise unique features even when they occur only once in training data. An example of a unique feature is a person's name that is accidentally present on a training image. Assuming access to the inputs and outputs of a trained model, the domain of the training data, and knowledge of unique features, we develop a score estimating the model's sensitivity to a unique feature by comparing the KL divergences of the model's output distributions given modified out-of-distribution images. Our results suggest that unique features are memorised by multi-layer perceptrons and convolutional neural networks trained on benchmark datasets, such as MNIST, Fashion-MNIST and CIFAR-10. We find that strategies to prevent overfitting (e.g.\ early stopping, regularisation, batch normalisation) do not prevent memorisation of unique features. These results imply that neural networks pose a privacy risk to rarely occurring private information. These risks can be more pronounced in healthcare applications if patient information is present in the training data.

研究动机与目标

• 调查神经网络是否会非故意地记忆仅在训练数据中出现一次的唯一私有特征（如姓名或ID）。
• 开发一种无需访问训练数据的黑箱方法，仅通过模型输入、输出以及对唯一特征的了解来测量此类记忆。
• 评估常见正则化技术（如Dropout、批量归一化、数据增强）在防止唯一特征记忆方面的有效性。
• 评估模型记忆与示例影响之间的关系，例如通过TracIn计算的自影响分数。
• 突出现实应用中的隐私风险，特别是在医疗保健领域，患者标识符可能被无意中编码到模型权重中。

提出的方法

• 在MNIST、Fashion-MNIST和CIFAR-10等基准数据集中注入带有唯一私有特征（如姓名）的合成“信标”图像。
• 在这些增强数据集上训练多层感知机和卷积神经网络，以模拟现实世界的训练场景。
• 将记忆分数M定义为模型在原始信标图像和修改后信标图像上的输出分布之间KL散度。其中，修改保持唯一特征不变，但改变其他视觉内容。
• 使用具有相同唯一特征但背景或上下文不同的分布外图像，探测模型对这些变化的敏感性。
• 在多个信标上计算该分数，并报告平均M值以评估记忆水平。
• 通过比较不同模型的M分数，评估正则化技术（如Dropout、数据增强、批量归一化）对记忆的影响。

实验结果

研究问题

• RQ1 即使这些特征不属于标签或类别分布，神经网络是否仍会记忆仅在训练数据集中出现一次的唯一私有特征？
• RQ2 所提出的黑箱记忆分数是否能仅通过模型输入和输出有效检测此类非故意记忆？
• RQ3 标准正则化技术（如Dropout、批量归一化和数据增强）是否能有效防止唯一私有特征的记忆？
• RQ4 训练示例的自影响（通过TracIn测量）与模型对唯一特征的记忆之间是否存在相关性？
• RQ5 当数据增强增加了具有相同唯一特征的示例的有效数量时，它如何影响唯一特征的记忆？

主要发现

• 所提出的记忆分数在MNIST、Fashion-MNIST和CIFAR-10上训练的多层感知机和卷积神经网络中，成功检测到对唯一私有特征的非故意记忆。
• 即使在应用正则化后，记忆分数（M）仍保持显著水平；例如，在CIFAR-10上使用批量归一化的CNN-2模型中，M = 1.7，表明存在强烈记忆。
• 数据增强使记忆分数上升——在一种情况下从0.018升至0.13——因为其隐式增加了具有相同唯一特征的样本数量，从而强化了虚假相关性。
• 在Fashion-MNIST和CIFAR-10中，自影响（通过TracIn测量）与记忆分数之间无强相关性，表明高影响示例并非复杂数据集中记忆的主要驱动因素。
• 本研究揭示，即使在标准基准数据集中，唯一私有特征仍会被记忆，表明在医疗保健等现实应用中存在持续的隐私风险，因为患者标识符可能被无意包含在训练数据中。