[论文解读] I Am Not What I Write: Privacy Preserving Text Representation Learning

Ghazaleh Beigi, Kai Shu+3 more|arXiv (Cornell University)|Jul 6, 2019

Privacy-Preserving Technologies in Data参考文献 44被引用 18

一句话总结

本文提出 DPText，一种新颖的隐私保护文本表征学习框架，可同时确保差分隐私、隐藏私有属性，并为下游 NLP 任务保留高实用性。通过结合自编码器、差分隐私噪声、语义判别器和私有属性判别器，DPText 有效降低了重识别风险和私有信息泄露，同时保持了语义含义，该方法在情感分析和词性标注任务中得到验证。

ABSTRACT

Online users generate tremendous amounts of textual information by participating in different activities, such as writing reviews and sharing tweets. This textual data provides opportunities for researchers and business partners to study and understand individuals. However, this user-generated textual data not only can reveal the identity of the user but also may contain individual's private information (e.g., age, location, gender). Hence, "you are what you write" as the saying goes. Publishing the textual data thus compromises the privacy of individuals who provided it. The need arises for data publishers to protect people's privacy by anonymizing the data before publishing it. It is challenging to design effective anonymization techniques for textual information which minimizes the chances of re-identification and does not contain users' sensitive information (high privacy) while retaining the semantic meaning of the data for given tasks (high utility). In this paper, we study this problem and propose a novel double privacy preserving text representation learning framework, DPText, which learns a textual representation that (1) is differentially private, (2) does not contain private information and (3) retains high utility for the given task. Evaluating on two natural language processing tasks, i.e., sentiment analysis and part of speech tagging, we show the effectiveness of this approach in terms of preserving both privacy and utility.

研究动机与目标

• 为解决用户生成文本数据中用户隐私保护的挑战，此类数据常暴露身份和敏感属性。
• 设计一种方法，在最小化重识别和属性推理风险的同时，保留文本在下游 NLP 任务中的语义实用性。
• 克服现有技术（如 PII 移除、k-匿名性以及标准差分隐私）的局限性，这些方法无法有效防范对潜在表征的推理攻击。
• 开发一个统一框架，将差分隐私与表征学习相结合，以同时保护隐私并维持实用性。
• 确保学习到的文本表征在语义上有意义，且对私有属性推理和重识别具有抗性。

提出的方法

• 该框架使用自编码器从原始文本输入中学习压缩的、低维的表征。
• 通过向潜在表征中添加拉普拉斯噪声来强制实施差分隐私，确保无法从个体数据点中重识别。
• 训练语义意义判别器以保留原始文本的语义内容，确保对下游任务的实用性。
• 使用私有属性判别器以最小化模型从表征中推断出敏感属性（如年龄、性别、健康状况）的能力。
• 采用端到端对抗训练：自编码器学习生成能欺骗私有属性判别器的表征，同时满足语义判别器和差分隐私约束。
• 该框架与初始表征模型无关，可与现有方法（如 doc2vec）集成。

实验结果

研究问题

• RQ1 是否能够设计一种文本表征学习框架，同时确保差分隐私、隐藏私有属性并保留语义实用性？
• RQ2 所提出的框架在降低个体文本表征重识别风险方面的有效性如何？
• RQ3 该框架在多大程度上能防止从学习到的表征中推断出性别、年龄或健康状况等私有属性？
• RQ4 在真实世界 NLP 任务中，该框架与现有方法相比在实用性与隐私保护方面表现如何？
• RQ5 与仅使用标准差分隐私或对抗训练相比，语义判别器与私有属性判别器的联合集成是否能改善隐私-实用性权衡？

主要发现

• DPText 通过在潜在空间中注入拉普拉斯噪声强制实施差分隐私，显著降低了个体文本表征的重识别风险。
• 该框架成功隐藏了私有属性信息，表现为私有属性判别器无法准确从学习到的表征中预测出敏感属性。
• 原始文本的语义含义得到良好保留，这通过在情感分析和词性标注等下游任务中的优异表现得到证实。
• 与先前工作相比，DPText 在性能上优于仅依赖 PII 移除或标准差分隐私的方法，后者无法防范对潜在表征的推理攻击。
• 采用双判别器的对抗训练机制，相比未显式建模语义保真度与私有属性泄露的现有方法，实现了更优的隐私-实用性权衡。
• 该框架具有鲁棒性和泛化能力，因其不依赖于特定预训练表征模型，可与现有文本嵌入技术无缝集成。