[论文解读] Improved Techniques for Model Inversion Attacks

Si Chen, Ruoxi Jia+1 more|arXiv (Cornell University)|May 4, 2021

Adversarial Robustness in Machine Learning参考文献 17被引用 15

一句话总结

本文提出了一种先进的模型反演攻击技术，显著提升了从深度神经网络中重建训练数据的质量。通过为反演任务定制GAN训练并建模私有数据分布而非单点重建，该方法在公共数据与私有数据之间存在较大分布差异的情况下，仍能实现最先进性能。

ABSTRACT

Model inversion (MI) attacks in the whitebox setting are aimed at reconstructing training data from model parameters. Such attacks have triggered increasing concerns about privacy, especially given a growing number of online model repositories. However, existing MI attacks against deep neural networks (DNNs) have large room for performance improvement. A natural question is whether the underperformance is because the target model does not memorize much about its training data or it is simply an artifact of imperfect attack algorithm design? This paper shows that it is the latter. We present a variety of new techniques that can significantly boost the performance of MI attacks against DNNs. Recent advances to attack DNNs are largely attributed to the idea of training a general generative adversarial network (GAN) with potential public data and using it to regularize the search space for reconstructed images. We propose to customize the training of a GAN to the inversion task so as to better distill knowledge useful for performing attacks from public data. Moreover, unlike previous work that directly searches for a single data point to represent a target class, we propose to model private data distribution in order to better reconstruct representative data points. Our experiments show that the combination of these techniques can lead to state-of-the-art attack performance on a variety of datasets and models, even when the public data has a large distributional shift from the private data.

研究动机与目标

• 解决现有模型反演攻击在深度神经网络上表现不佳的问题，其根源在于算法设计不够优化，而非模型中记忆能力有限。
• 通过针对特定任务定制GAN以更高效地利用公共数据，提升攻击的有效性。
• 超越单点重建，通过建模底层私有数据分布，实现更具代表性和准确的图像生成。
• 即使公共数据分布与私有训练数据存在显著差异，仍能保持稳健性能。
• 在多种数据集和模型架构上实现最先进水平的模型反演性能。

提出的方法

• 专门针对模型反演任务定制生成对抗网络（GAN）的训练过程，以更好地从公共数据中提炼有用知识。
• 用与反演目标对齐的任务感知GAN替代通用GAN，提升生成图像的质量与相关性。
• 建模私有数据分布而非针对单个数据点，从而实现更准确和更具代表性的重建。
• 将定制化GAN用作正则化项，约束反演过程中的搜索空间，提升收敛性与图像保真度。
• 将基于GAN的先验与基于梯度的优化方法结合，从模型参数中重建图像。
• 利用公共数据的统计特性引导反演过程，即使在存在分布差异的情况下亦能有效进行。

实验结果

研究问题

• RQ1 与使用通用GAN相比，为模型反演任务定制GAN训练是否能显著提升重建质量？
• RQ2 建模私有数据分布是否比单点重建能带来更优的反演结果？
• RQ3 当公共数据分布与私有训练数据存在显著差异时，所提技术的有效性如何？
• RQ4 在不同数据集和模型上，该方法在多大程度上优于现有最先进模型反演攻击？
• RQ5 性能提升是源于更好的优化策略，还是得益于定制化GAN先验带来的改进归纳偏置？

主要发现

• 所提方法在多个数据集和模型架构上实现了最先进水平的模型反演性能。
• 与标准GAN基线相比，定制化GAN训练显著提升了重建保真度。
• 与单点重建相比，建模私有数据分布能生成更具代表性和真实感的重建图像。
• 即使公共数据分布与私有数据存在显著差异，攻击仍保持有效，展现出强大鲁棒性。
• 结合分布建模与任务特定GAN正则化，显著提升了视觉质量与定量指标。
• 在重建准确率与多样性方面，该方法优于以往方法，尤其在数据对齐程度有限的挑战性场景中表现更优。