[论文解读] Exploring the Security Boundary of Data Reconstruction via Neuron Exclusivity Analysis

Xudong Pan, Mi Zhang+3 more|arXiv (Cornell University)|Oct 26, 2020

Adversarial Robustness in Machine Learning被引用 8

一句话总结

本文通过神经元独占性分析，首次对基于ReLU的全连接网络中从模型梯度重建数据的攻击安全边界进行了理论定义。提出了一种确定性攻击算法，在不安全批次上表现优于先前方法（PSNR >30），并证明了在安全批次上唯一重建的不可能性，从而提出了一种新型的独占性降低防御策略。

ABSTRACT

Among existing privacy attacks on the gradient of neural networks, \emph{data reconstruction attack}, which reverse engineers the training batch from the gradient, poses a severe threat on the private training data. Despite its empirical success on large architectures and small training batches, unstable reconstruction accuracy is also observed when a smaller architecture or a larger batch is under attack. Due to the weak interpretability of existing learning-based attacks, there is little known on why, when and how data reconstruction attack is feasible. In our work, we perform the first analytic study on the security boundary of data reconstruction from gradient via a microcosmic view on neural networks with rectified linear units (ReLUs), the most popular activation function in practice. For the first time, we characterize the insecure/secure boundary of data reconstruction attack in terms of the \emph{neuron exclusivity state} of a training batch, indexed by the number of \emph{ extbf{Ex}clusively extbf{A}ctivated extbf{N}eurons} (ExANs, i.e., a ReLU activated by only one sample in a batch). Intuitively, we show a training batch with more ExANs are more vulnerable to data reconstruction attack and vice versa. On the one hand, we construct a novel deterministic attack algorithm which substantially outperforms previous attacks for reconstructing training batches lying in the insecure boundary of a neural network. Meanwhile, for training batches lying in the secure boundary, we prove the impossibility of unique reconstruction, based on which an exclusivity reduction strategy is devised to enlarge the secure boundary for mitigation purposes.

研究动机与目标

• 理解从模型梯度进行数据重建在何种基本条件下可行或不可行。
• 识别不同批次大小和网络架构下重建性能不一致的根本原因。
• 基于神经元独占性状态，建立数据重建攻击的理论安全边界。
• 开发一种确定性攻击算法，在不安全批次上优于现有基于学习的方法。
• 提出一种防御策略——独占性降低，通过证明在特定条件下唯一重建的不可能性，从而扩展安全边界。

提出的方法

• 引入独占激活神经元（ExANs）度量，用于统计一个批次中仅被单个样本激活的ReLU单元数量。
• 将不安全边界定义为具备足够ExANs的批次，此时由于线性系统可解，重建成为可能。
• 通过求解由梯度匹配导出的线性系统，构建确定性攻击算法，并利用ExANs约束解空间。
• 证明当ExANs数量不足（缺乏独占性）时，由于系统欠定，唯一重建不可能实现。
• 提出独占性降低作为防御策略：通过修改训练批次以减少ExANs，从而扩展安全边界。
• 通过在CIFAR-100和Facescrub数据集上的实证评估，以PSNR为度量，验证了攻击与防御机制的有效性。

实验结果

研究问题

• RQ1 训练批次的何种结构特性决定了从梯度进行数据重建的可行性？
• RQ2 尽管有实证观察，为何数据重建性能在更大批次大小或更浅网络中会下降？
• RQ3 能否利用神经元级激活模式，对数据重建的安全边界进行理论表征？
• RQ4 在特定条件下，能否证明唯一重建的不可能性？
• RQ5 独占性降低能否作为一种实用防御手段，以扩展数据重建的安全区域？

主要发现

• ExANs数量更高的批次在数据重建攻击中显著更易受攻击。
• 所提出的确定性攻击在不安全批次上实现了PSNR >30，显著优于先前基于学习的方法。
• 在Facescrub数据集上，含ExANs组的平均PSNR为11.83，而无ExANs组为10.47，证实了ExANs在攻击成功中的关键作用。
• 当ExANs数量不足时，唯一重建的不可能性已得到证明，原因在于线性系统欠定。
• 独占性降低有效扩展了安全边界，使更多类别的批次无法实现重建。
• 当移除ExANs后，攻击性能显著下降，证实ExANs是脆弱性的关键指标。