[论文解读] Distributed generation of privacy preserving data with user customization

Xiao Dong Chen, Thomas Navidi+2 more|arXiv (Cornell University)|Apr 20, 2019

Privacy-Preserving Technologies in Data被引用 9

一句话总结

本文提出了一种分布式的、用户可定制的框架，通过将潜在表征学习与隐私化过程解耦，实现隐私保护数据的生成。采用固定的变分自编码器（VAE）和通过对抗性风格鲁棒优化训练的轻量级生成过滤器，该方法使移动设备能够本地扰动数据以隐藏用户定义的私有属性，同时保持数据效用，在MNIST、UCI-Adult和CelebA数据集上，其隐私-效用权衡优于高斯噪声。

ABSTRACT

Distributed devices such as mobile phones can produce and store large amounts of data that can enhance machine learning models; however, this data may contain private information specific to the data owner that prevents the release of the data. We wish to reduce the correlation between user-specific private information and data while maintaining the useful information. Rather than learning a large model to achieve privatization from end to end, we introduce a decoupling of the creation of a latent representation and the privatization of data that allows user-specific privatization to occur in a distributed setting with limited computation and minimal disturbance on the utility of the data. We leverage a Variational Autoencoder (VAE) to create a compact latent representation of the data; however, the VAE remains fixed for all devices and all possible private labels. We then train a small generative filter to perturb the latent representation based on individual preferences regarding the private and utility information. The small filter is trained by utilizing a GAN-type robust optimization that can take place on a distributed device. We conduct experiments on three popular datasets: MNIST, UCI-Adult, and CelebA, and give a thorough evaluation including visualizing the geometry of the latent embeddings and estimating the empirical mutual information to show the effectiveness of our approach.

研究动机与目标

• 为解决在保留机器学习效用的前提下，安全共享高维数据（如图像或个人记录）的挑战。
• 使单个用户能够自定义需要隐私化的属性（例如年龄、性别、种族），而无需为每种标签组合重新训练中心化模型。
• 设计一种计算高效、适合移动设备的分布式解决方案，可在数据传输前本地应用隐私保护变换。
• 在降低潜在表征与私有标签之间相关性的同时，保持非私有属性的高可用性。
• 克服现有方法的可扩展性限制，这些方法需要为每种私有标签组合单独训练一个自编码器。

提出的方法

• 使用固定的变分自编码器（VAE）为所有用户和私有标签组合创建紧凑且共享的潜在表征。
• 通过对抗性类型鲁棒优化训练轻量级、用户特定的生成过滤器，根据个体隐私偏好扰动潜在表征。
• 在本地设备上以分布式方式训练过滤器，最大限度减少通信和计算开销。
• 过滤器使用失真预算来限制噪声注入，即使未显式保护，也能保留非目标属性。
• 该方法利用极小化-极大化优化，降低私有标签分类器的准确率，同时保持效用标签的高准确率。
• 通过经验互信息计算，量化潜在表征与私有标签之间相关性的降低程度。

实验结果

研究问题

• RQ1 能否使用固定VAE创建一种通用潜在表征，以实现对多样化私有标签组合的高效、用户可定制的隐私化？
• RQ2 通过对抗性风格优化训练的小型、用户特定生成过滤器，在降低私有属性推理效用方面的有效性如何？
• RQ3 生成过滤器中的失真预算是否能防止对非目标属性的过度扰动，从而保留无意中保留的有用信息？
• RQ4 与标准高斯噪声注入相比，该方法在隐私-效用权衡方面表现如何？
• RQ5 该方法在多大程度上降低了潜在表征与私有标签之间的经验互信息？

主要发现

• 在KL散度失真预算为3的条件下，生成过滤器将私有标签分类准确率从95%降低至约65%，同时保持效用标签准确率接近90%。
• 与高斯机制相比，生成过滤器在隐私-效用权衡方面表现更优，其在更有效地降低私有标签准确率的同时，更好地保持了效用标签的准确率。
• 由于失真预算的限制，非目标属性（如MNIST案例1中的'circle'）得以保留，噪声仅注入到目标属性。
• 随着失真预算的增加，潜在表征与私有标签之间的经验互信息显著降低，证实了相关性减少。
• 可视化结果显示，潜在空间几何结构被改变，使得数字0和6变得更加相似，从而更难区分如'≥5'等私有属性。
• 在CelebA数据集中，该方法成功对'吸引力'、'戴眼镜'和'卷发'等标签进行了隐私化处理，同时保持了图像的真实感和微笑效用标签的可用性。