[论文解读] Differentially Private Releasing via Deep Generative Model

Xinyang Zhang, Shouling Ji+1 more|arXiv (Cornell University)|Jan 5, 2018

Privacy-Preserving Technologies in Data参考文献 4被引用 53

一句话总结

本文提出 dp-GAN，一种差分隐私生成建模框架，该框架释放的是经过私有训练的深度生成模型，而非经过清洗的数据，从而在保障理论隐私保证的同时，通过可扩展的多路优化策略，实现无限合成数据生成，支持多样化的分析任务，且保持高数据效用。

ABSTRACT

Privacy-preserving releasing of complex data (e.g., image, text, audio) represents a long-standing challenge for the data mining research community. Due to rich semantics of the data and lack of a priori knowledge about the analysis task, excessive sanitization is often necessary to ensure privacy, leading to significant loss of the data utility. In this paper, we present dp-GAN, a general private releasing framework for semantic-rich data. Instead of sanitizing and then releasing the data, the data curator publishes a deep generative model which is trained using the original data in a differentially private manner; with the generative model, the analyst is able to produce an unlimited amount of synthetic data for arbitrary analysis tasks. In contrast of alternative solutions, dp-GAN highlights a set of key features: (i) it provides theoretical privacy guarantee via enforcing the differential privacy principle; (ii) it retains desirable utility in the released model, enabling a variety of otherwise impossible analyses; and (iii) most importantly, it achieves practical training scalability and stability by employing multi-fold optimization strategies. Through extensive empirical evaluation on benchmark datasets and analyses, we validate the efficacy of dp-GAN.

研究动机与目标

• 为在保护隐私的同时释放复杂且具有语义丰富性的数据（如图像、文本）提供解决方案。
• 克服传统数据清洗方法因过度保护而导致数据效用严重损失的局限性。
• 在生成建模的背景下，通过差分隐私提供理论基础坚实的隐私保障。
• 实现对真实世界数据工作负载具有可扩展性和稳定性的私有生成模型训练。
• 通过释放单一私有生成模型而非原始数据或清洗后数据，支持广泛的下游分析任务。

提出的方法

• 数据管理员使用差分隐私优化技术，在原始数据上训练深度生成模型（如 GAN）。
• 通过噪声注入机制（如梯度裁剪或裁剪梯度）在模型训练过程中实施差分隐私，以限制模型对数据的记忆。
• 采用多路优化策略以提升训练稳定性和可扩展性，降低模式崩溃风险并改善收敛性。
• 释放训练好的生成模型，使分析人员能够为各种分析任务无限采样合成数据。
• 该框架将数据发布与分析解耦，实现灵活、与任务无关的合成数据生成，并提供正式的隐私保障。
• 通过依赖私有生成模型作为可信的合成数据源，避免了每次分析都进行数据清洗。

实验结果

研究问题

• RQ1 能否在保持下游任务高效用的前提下，以差分隐私方式训练深度生成模型？
• RQ2 所提出的多路优化策略在私有生成建模中如何提升训练稳定性和可扩展性？
• RQ3 在复杂数据领域中，dp-GAN 相较于传统清洗方法在数据效用保持方面表现如何？
• RQ4 释放的生成模型是否无需重新训练或重新私有化即可支持各种分析任务？
• RQ5 在所提出的框架中，隐私预算、模型效用与训练稳定性之间的权衡关系如何？

主要发现

• dp-GAN 通过在生成模型训练过程中强制实施差分隐私，实现了强大的理论隐私保障。
• 该框架保持了高数据效用，支持多样化的下游分析任务，而这些任务在传统过度清洗的数据上难以实现。
• 多路优化策略显著提升了训练稳定性和可扩展性，使复杂数据的私有生成建模成为现实。
• 在基准数据集上的实证评估表明，dp-GAN 在隐私-效用权衡和模型保真度方面均优于其他替代方法。
• 释放的生成模型支持无限合成数据生成，可支持任意分析任务且无需额外隐私开销。
• 该方法减少了对过度数据清洗的需求，有效保留了合成输出中的丰富语义结构。