[论文解读] Déjà Vu: an empirical evaluation of the memorization properties of ConvNets

Alexandre Sablayrolles, Matthijs Douze+2 more|arXiv (Cornell University)|Sep 17, 2018

Opportunistic and Delay-Tolerant Networks参考文献 36被引用 10

一句话总结

本论文通过提出一种成员推理攻击方法，研究了现代卷积神经网络（ConvNets）中的记忆化现象，该方法可检测特定图像是否被用于训练，即使仅能访问中间层。研究发现，ResNet-101 和 VGG-16 等模型能够记忆训练数据，且在使用数据增强时攻击准确率显著下降；同时表明，即使经过微调或层截断，低层仍保留可检测的记忆化信号。

ABSTRACT

Convolutional neural networks memorize part of their training data, which is why strategies such as data augmentation and drop-out are employed to mitigate overfitting. This paper considers the related question of "membership inference", where the goal is to determine if an image was used during training. We consider it under three complementary angles. We show how to detect which dataset was used to train a model, and in particular whether some validation images were used at train time. We then analyze explicit memorization and extend classical random label experiments to the problem of learning a model that predicts if an image belongs to an arbitrary set. Finally, we propose a new approach to infer membership when a few of the top layers are not available or have been fine-tuned, and show that lower layers still carry information about the training samples. To support our findings, we conduct large-scale experiments on Imagenet and subsets of YFCC-100M with modern architectures such as VGG and Resnet.

研究动机与目标

• 调查现代卷积神经网络（如 ResNet-101 和 VGG-16）是否记忆训练图像，特别是在隐私与数据泄露背景下的表现。
• 开发并评估一种成员推理攻击方法，用于检测特定图像或数据集子集是否曾被用于训练，即使最终层不可用。
• 分析数据增强（如翻转、裁剪、缩放）对记忆化及攻击性能的影响，评估其在隐私保护中的作用。
• 通过利用中间特征表示而非最终层输出，将成员推理扩展至迁移学习和微调后的网络。
• 通过在随机标签和合成数据集上的受控实验，提供卷积神经网络显式记忆任意图像集能力的实证证据。

提出的方法

• 提出一个二分类器作为最终层的即插即用替代品，利用模型的置信度分数作为信号执行成员推理。
• 采用两种攻击策略：贝叶斯攻击（基于类别条件概率密度）和模型准确率阈值（MAT）攻击（利用训练集与验证集损失分布差异）。
• 使用训练集与验证集损失的累积分布函数（CDF）计算最优阈值 τ，通过公式 $ \text{accuracy} = \frac{1}{2} + \frac{1}{2}(F_{\text{train}}(\tau) - F_{\text{heldout}}(\tau)) $ 最大化攻击准确率。
• 在 ImageNet 和 YFCC-100M 数据集上对 VGG-16 和 ResNet-101 进行实验，采用不同水平的数据增强（无增强、翻转+裁剪±5、翻转+裁剪）。
• 对于部分层攻击，使用公开数据重新训练缺失的顶层，并在剩余的特征表示上应用贝叶斯或 MAT 攻击。
• 在不同网络层（如 ResNet 的最后一组块、第4阶段）评估攻击性能，以分析记忆化在低层的保留程度。

实验结果

研究问题

• RQ1 在强数据增强条件下，现代卷积神经网络（如 ResNet-101 和 VGG-16）在多大程度上仍能记忆特定训练图像？
• RQ2 当训练集规模大且经过增强时，成员推理攻击能否检测出模型是否在验证集的子集上进行过训练？
• RQ3 当仅能访问中间层（如微调或迁移模型中的情况）时，能否有效执行成员推理？
• RQ4 数据增强（如随机裁剪、翻转）如何影响记忆化能力及成员推理攻击的成功率？
• RQ5 卷积神经网络能显式记忆的图像数量上限是多少？该上限与模型容量及优化动态有何关联？

主要发现

• 在无数据增强的情况下，对 ResNet-101 和 VGG-16 的最终层进行成员推理攻击，准确率分别达到 90.4% 和 90.8%，表明存在强烈记忆化现象。
• 在完整数据增强（翻转+裁剪±5）条件下，攻击准确率分别下降至 77.4%（ResNet-101）和 79.5%（VGG-16），表明数据增强可有效降低记忆化泄露。
• 即使仅能访问最后一组特征（如微调后），攻击准确率仍分别达到 53.1%（ResNet-101）和 51.7%（VGG-16），表明中间层仍携带可检测的记忆化信号。
• 对于采用最小增强训练的模型，对中间层（如 ResNet 的第4阶段）进行成员推理，准确率达 65.7%，表明低层仍保留显著的记忆化能力。
• MAT 攻击优于随机猜测，在不同架构和增强水平下均表现稳健，即使在强数据增强下准确率也持续高于 50%。
• 本研究提供了实证证据，表明数据增强是一种有效的隐私保护技术，可显著降低大规模数据集（如 ImageNet）上成员推理攻击的成功率。