[论文解读] Deconstructing Data Reconstruction: Multiclass, Weight Decay and General Losses

Gon Buzaglo, Niv Haim+5 more|arXiv (Cornell University)|Jul 4, 2023

Neural Networks and ApplicationsComputer Science被引用 3

一句话总结

本文将神经网络的数据重建方法从二分类任务扩展至多分类和回归任务，提出一种适用于多种损失函数（包括带有权重衰减的损失）的通用重建方案。实验表明，权重衰减可显著提升可重建性，并成功实现了从最多5,000个样本训练的模型中进行重建，即使在卷积神经网络中也有效，揭示了模型记忆化和隐私方面的新漏洞。

ABSTRACT

Memorization of training data is an active research area, yet our understanding of the inner workings of neural networks is still in its infancy. Recently, Haim et al. (2022) proposed a scheme to reconstruct training samples from multilayer perceptron binary classifiers, effectively demonstrating that a large portion of training samples are encoded in the parameters of such networks. In this work, we extend their findings in several directions, including reconstruction from multiclass and convolutional neural networks. We derive a more general reconstruction scheme which is applicable to a wider range of loss functions such as regression losses. Moreover, we study the various factors that contribute to networks' susceptibility to such reconstruction schemes. Intriguingly, we observe that using weight decay during training increases reconstructability both in terms of quantity and quality. Additionally, we examine the influence of the number of neurons relative to the number of training samples on the reconstructability. Code: https://github.com/gonbuzaglo/decoreco

研究动机与目标

• 将 Haim 等人（2022）提出的二分类数据重建框架扩展至多分类任务。
• 开发一种适用于广泛损失函数（包括均方误差等回归损失）的通用重建方案。
• 研究权重衰减对可重建性的影响，特别是在卷积神经网络中的表现。
• 分析模型容量（参数数量）与训练样本数量之间的关系对可重建性的影响。
• 评估从大规模模型中重建训练数据的可行性，突破此前1,000个样本的限制。

提出的方法

• 基于带有权重衰减的神经网络的隐式偏差，推导出一种广义重建方案，将KKT条件框架扩展至多分类和一般损失函数。
• 调整重建损失函数，使其适用于多分类交叉熵损失和回归损失（如MSE），从而支持从不同目标函数训练的模型中实现重建。
• 采用基于梯度的优化方法，通过有界输入约束和迭代优化，反演模型参数以恢复训练样本。
• 提出一种重建目标（公式15），利用优化问题与最大间隔问题KKT条件之间的对偶性。
• 在二分类CIFAR10（动物 vs. 车辆）上进行受控实验，改变网络宽度（W）和样本数量（N），通过SSIM > 0.4衡量可重建性。
• 在3层MLP和卷积网络上验证该方法，分别使用BCE和MSE损失，评估不同超参数设置下的性能表现。

Figure 1: Reconstructed training samples from a multi-class MLP classifier that was trained on $500$ CIFAR10 images. Each column corresponds to one class and shows the $10$ training samples ( red ) that were best reconstructed from this class, along with their reconstructed result ( blue ).

实验结果

研究问题

• RQ1 Haim 等人（2022）的重建方案能否推广至多分类任务？
• RQ2 当应用于MSE等回归损失时，该重建方法是否依然有效？
• RQ3 权重衰减如何影响神经网络中训练样本的可重建性？
• RQ4 模型容量（参数数量）与训练样本数量之间的关系如何影响可重建性？
• RQ5 能否从训练样本量显著更大的模型中实现成功重建，例如5,000个样本，突破以往的限制？

主要发现

• 该重建方案能成功从多分类神经网络中恢复训练样本，且随着类别数量的增加，可重建性也随之提升。
• 该方法可推广至回归损失，支持从使用MSE损失训练的模型中实现重建，而这是此前方案无法实现的。
• 权重衰减显著增强了可重建性，使得卷积神经网络的重建成为可能——此前研究仅限于MLP。
• 可重建性强烈依赖于网络宽度（W）与训练样本数量（N）的比值，W/N越高，可恢复的样本越多。
• 该方法成功实现了从训练了5,000个样本的3层MLP中获得良好重建结果，证明了其在突破此前1,000样本限制方面的可行性。
• 当N = 500时，即使大模型（W = 1,000）的可重建性也仅达8%，表明随着数据集规模增大，性能急剧下降。

Figure 2: Multi-class classifiers are more vulnerable to training-set reconstruction. For a training set of size $500$ , a multi-class model ( left ) yields $101$ reconstructed samples with good quality (SSIM $>$ $0.4$ ), compared to $40$ in a binary classification model ( right ).