[论文解读] ConfounderGAN: Protecting Image Data Privacy with Causal Confounder

Qi Tian, Kun Kuang+4 more|arXiv (Cornell University)|Dec 4, 2022

Digital Media Forensic Detection被引用 4

一句话总结

ConfounderGAN 是一种基于 GAN 的方法，通过生成具有混淆因子特性的微小、人眼难以察觉的噪声，使图像与标签之间产生虚假相关性，从而在加密数据上使深度学习模型无法学习。该方法在隐私保护、可迁移性和鲁棒性方面均优于最先进的方法（如 EMN），适用于多种数据集和模型架构。

ABSTRACT

The success of deep learning is partly attributed to the availability of massive data downloaded freely from the Internet. However, it also means that users' private data may be collected by commercial organizations without consent and used to train their models. Therefore, it's important and necessary to develop a method or tool to prevent unauthorized data exploitation. In this paper, we propose ConfounderGAN, a generative adversarial network (GAN) that can make personal image data unlearnable to protect the data privacy of its owners. Specifically, the noise produced by the generator for each image has the confounder property. It can build spurious correlations between images and labels, so that the model cannot learn the correct mapping from images to labels in this noise-added dataset. Meanwhile, the discriminator is used to ensure that the generated noise is small and imperceptible, thereby remaining the normal utility of the encrypted image for humans. The experiments are conducted in six image classification datasets, consisting of three natural object datasets and three medical datasets. The results demonstrate that our method not only outperforms state-of-the-art methods in standard settings, but can also be applied to fast encryption scenarios. Moreover, we show a series of transferability and stability experiments to further illustrate the effectiveness and superiority of our method.

研究动机与目标

• 为应对深度学习中未经授权的数据收集与滥用风险，尤其是从公开可获取图像中获取数据的风险。
• 开发一种实用的图像加密方法，防止模型从私有数据中学习到可被利用的模式。
• 确保加密方法高效且适用于实时场景中的未标注图像，例如社交媒体分享。
• 保持高视觉保真度，使加密后的图像对人类观察者仍具可用性和视觉自然性。
• 在不同模型架构和数据增强技术下实现强可迁移性和鲁棒性。

提出的方法

• 该方法引入一种与输入图像及其标签均存在因果关联的混淆因子噪声，通过制造虚假相关性来误导模型学习。
• 生成网络根据输入图像及其真实标签生成混淆因子噪声，确保与两者保持强相关性。
• 判别器通过对比原始图像与添加噪声后的图像，确保噪声最小化且人眼难以察觉。
• 生成器采用双重目标进行训练：一方面最大化下游模型的混淆度，另一方面通过对抗反馈保持图像质量。
• 框架利用预训练分类器引导噪声生成，使混淆因子与标签空间对齐，从而实现有效遗忘。
• 该方法设计用于快速推理，支持对未标注图像进行实时、无需迭代优化的即时加密。

实验结果

研究问题

• RQ1 基于混淆因子的框架是否能有效防止深度学习模型学习到真实的图像到标签映射？
• RQ2 所生成的噪声是否能在不同模型架构（包括不同主干网络）下保持强不可学习性？
• RQ3 在训练中常用的常见数据增强技术下，该方法的有效性如何？
• RQ4 当目标模型与噪声生成器的训练模型不同时，噪声是否仍保持鲁棒性和可迁移性？
• RQ5 该方法是否能在保护高隐私的同时，保持良好的视觉质量与人类可用性？

主要发现

• ConfounderGAN 在全部六个评估数据集（包括自然图像和医学图像基准）上均优于最先进的 EMN 方法，在不可学习性方面表现更优。
• 即使目标模型架构与生成器训练所用模型不同，基于加密数据训练的下游模型测试准确率仍保持在 15% 以下。
• 在可迁移性实验中，ConfounderGAN 在 VGG11、ResNet50 和 DenseNet121 上的准确率显著低于 EMN，表明其在不同架构间具有更优的泛化能力。
• 该方法在七种常见数据增强技术（包括 CutMix 和 Fast Autoaugment）下依然有效，各类设置下测试准确率均保持较低水平。
• 可视化结果表明，ConfounderGAN 生成的是结构化、高层次的噪声模式（如羽毛状纹理），这可能有助于相比 EMN 的随机点状模式实现更好的可迁移性。
• 该方法在早停和自适应训练设置下仍保持鲁棒性，证实其在实际部署中的稳定性。