[论文解读] dpUGC: Learn Differentially Private Representation for User Generated Contents

Xuan-Son Vu, Son N. Tran+1 more|arXiv (Cornell University)|Mar 25, 2019

Privacy-Preserving Technologies in Data参考文献 28被引用 6

一句话总结

本文提出 dpUGC，一种新颖的框架，用于从用户生成内容（UGC）中学习具有用户级别隐私保障的差分隐私词嵌入。通过在训练过程中于用户级别注入噪声，该方法在保持下游自然语言处理任务（如回归）高实用性的同时，实现了强大的隐私保护，且在某些字符级别语义检索任务中优于非私有基线模型。

ABSTRACT

This paper firstly proposes a simple yet efficient generalized approach to apply differential privacy to text representation (i.e., word embedding). Based on it, we propose a user-level approach to learn personalized differentially private word embedding model on user generated contents (UGC). To our best knowledge, this is the first work of learning user-level differentially private word embedding model from text for sharing. The proposed approaches protect the privacy of the individual from re-identification, especially provide better trade-off of privacy and data utility on UGC data for sharing. The experimental results show that the trained embedding models are applicable for the classic text analysis tasks (e.g., regression). Moreover, the proposed approaches of learning differentially private embedding models are both framework- and data- independent, which facilitates the deployment and sharing. The source code is available at https://github.com/sonvx/dpText.

研究动机与目标

• 解决在敏感用户生成内容（UGC）上预训练的词嵌入所面临的重新识别风险。
• 开发一种框架，实现对私有词嵌入的安全共享，并提供正式的隐私保障，尤其适用于 UGC 数据。
• 在文本表征学习中实现差分隐私与数据实用性的更好权衡。
• 提供一种框架和数据无关的解决方案，用于部署和共享差分隐私词嵌入。
• 通过实证验证差分隐私嵌入在标准自然语言处理任务（如回归）中的实用性。

提出的方法

• 提出一种广义且可微的噪声注入方法，用于词嵌入训练以满足差分隐私要求，适用于任何词嵌入框架。
• 通过按用户分组梯度并注入校准噪声，实现用户级别的差分隐私保护。
• 在随机梯度下降过程中使用拉普拉斯机制向模型参数注入噪声，并严格控制隐私预算（ε, δ）。
• 采用可微的噪声注入过程，在确保隐私保障的同时保持模型的表达能力。
• 在 UGC 数据（如推文）上训练模型，并通过语义相似性和回归任务评估其实用性。
• 支持框架和数据无关的部署，实现私有嵌入在广泛范围内的共享。

实验结果

研究问题

• RQ1 差分隐私能否有效应用于用户生成内容上的词嵌入训练，以防止重新识别？
• RQ2 与文档级或词级方法相比，用户级别的差分隐私是否能在隐私与实用性之间提供更好的权衡？
• RQ3 差分隐私词嵌入是否足以维持下游自然语言处理任务（如回归）的实用性？
• RQ4 尽管损害了词级别性能，噪声注入是否能提升嵌入空间中的字符级别语义检索性能？
• RQ5 是否可行安全地共享预训练的差分隐私词嵌入，以支持对敏感文本数据的研究？

主要发现

• 所提出的 dpUGC 框架在隐私与实用性之间实现了有利的权衡，其中 (ε, δ) = (0.125, 0.0184) 和 (0.125, 0.0197) 在回归任务中表现最优。
• 尽管词级别语义检索性能（MAP-Word）有所下降，但差分隐私模型在字符级别语义检索（MAP-Char）中仍优于非私有基线模型，表明噪声可能增强了字符级别的鲁棒性。
• 在回归任务中，dpUGC 模型的 RMSE 与非私有基线模型相当或略优，表明其具有强大的数据实用性保留能力。
• 该模型与标准参考模型保持了合理的语义相似度，MAP 分数在差分隐私下仅出现中等程度的下降。
• 该框架具备框架和数据无关性，可广泛部署并共享于多种自然语言处理应用场景中的私有嵌入。
• 该方法使对敏感 UGC 数据（如密码模式或受污名化的健康话题）的研究成为可能，且不会造成个体重新识别的风险。