[论文解读] Adversarial Learning of Privacy-Preserving and Task-Oriented Representations

Taihong Xiao, Yi‐Hsuan Tsai+3 more|arXiv (Cornell University)|Nov 22, 2019

Privacy-Preserving Technologies in Data参考文献 37被引用 7

一句话总结

本文提出了一种对抗性学习框架，通过在训练过程中模拟模型反演攻击，使深度表征在任务优化的同时具备隐私保护能力。通过在编码器与解码器之间的极小-极大博弈中最小化负重建损失（像素级或感知级），该方法降低了从潜在特征中重建原始输入的风险，实现了强大的隐私保护，且在人脸属性预测任务上的效用性能仅出现小幅下降。

ABSTRACT

Data privacy has emerged as an important issue as data-driven deep learning has been an essential component of modern machine learning systems. For instance, there could be a potential privacy risk of machine learning systems via the model inversion attack, whose goal is to reconstruct the input data from the latent representation of deep networks. Our work aims at learning a privacy-preserving and task-oriented representation to defend against such model inversion attacks. Specifically, we propose an adversarial reconstruction learning framework that prevents the latent representations decoded into original input data. By simulating the expected behavior of adversary, our framework is realized by minimizing the negative pixel reconstruction loss or the negative feature reconstruction (i.e., perceptual distance) loss. We validate the proposed method on face attribute prediction, showing that our method allows protecting visual privacy with a small decrease in utility performance. In addition, we show the utility-privacy trade-off with different choices of hyperparameter for negative perceptual distance loss at training, allowing service providers to determine the right level of privacy-protection with a certain utility performance. Moreover, we provide an extensive study with different selections of features, tasks, and the data to further analyze their influence on privacy protection.

研究动机与目标

• 为应对机器学习系统中日益增长的数据隐私泄露风险，特别是通过模型反演攻击从潜在表征中重建输入数据的风险。
• 开发一种方法，同时保留下游任务的效用并保护深度表征中的视觉隐私。
• 通过建模一个尝试将特征反演为输入空间的神经解码器，在训练过程中模拟攻击者行为。
• 通过控制重建损失的超参数，实现可调节的效用-隐私权衡。
• 通过实证评估特征层选择、任务类型以及攻击者数据对隐私保护的影响。

提出的方法

• 该框架采用编码器（Enc）与解码器（Dec）之间的极小-极大对抗训练设置，其中Dec被训练为从潜在特征中重建输入数据，而Enc被训练为最大化重建误差。
• 编码器通过最小化重建输入与原始输入之间的负像素级或感知级（基于特征）距离来优化，即最小化负损失。
• 目标函数结合了任务特定损失（例如人脸属性预测）与对抗性重建损失，以平衡效用与隐私。
• 感知损失使用预训练的特征提取器g计算，通过测量重建图像与原始图像深层特征之间的L2距离。
• 该方法通过交替优化Enc与Dec实现端到端训练，训练过程中模拟黑盒模型反演攻击。
• 该框架在多个ResNet-50层、不同任务（如人脸属性预测）以及不同解码器攻击者数据下进行了评估。

实验结果

研究问题

• RQ1 通过模拟模型反演攻击的对抗性训练，能否有效降低从潜在表征中重建原始输入数据的风险？
• RQ2 选择不同的特征层（浅层与深层）如何影响学习表征中隐私与效用之间的平衡？
• RQ3 不同类型的攻击者数据（如来自相同或不同分布）对隐私保护有效性有何影响？
• RQ4 控制感知损失的超参数如何影响最终模型的效用-隐私权衡？
• RQ5 在没有显式身份监督的情况下，学习到的表征在多大程度上保持了身份不变性？

主要发现

• 所提出的方法显著降低了重建图像与原始图像之间的人脸相似度，尤其是在低层中，表明对模型反演攻击具有强抵抗力。
• 学习特征的LDA得分（S_b/S_w）持续低于基线，表明特征分布更均匀，隐私保护效果更优。
• 即使在对抗性训练下，人脸属性预测性能（MCC）仍保持较高水平，表明效用损失极小。
• 该方法实现了可调节的效用-隐私权衡：增加感知损失权重会降低重建质量，但增强隐私保护。
• 即使没有身份监督，模型仍学习到对身份不变的表征，表明对身份泄露具有鲁棒性。
• 该方法在抵抗强反演攻击方面优于标准深度特征，包括使用感知损失和GAN损失的攻击。