[论文解读] ER-AE: Differentially Private Text Generation for Authorship Anonymization

Haohan Bo, Steven H. H. Ding+2 more|arXiv (Cornell University)|Jul 20, 2019

Authorship Attribution and Profiling参考文献 48被引用 7

一句话总结

ER-AE 是一种差分隐私文本生成模型，通过使用双集合指数机制和基于 REINFORCE 的嵌入奖励函数，实现对作者身份的匿名化，生成人类可读且语义保持的文本。该模型在隐私保护和语义实用性方面均优于当前最先进方法，在 Yelp 和同行评审数据集上的实用度得分分别为 0.75 和 0.74，同时将作者身份再识别成功率控制在 10% 以下。

ABSTRACT

Most of privacy protection studies for textual data focus on removing explicit sensitive identifiers. However, personal writing style, as a strong indicator of the authorship, is often neglected. Recent studies, such as SynTF, have shown promising results on privacy-preserving text mining. However, their anonymization algorithm can only output numeric term vectors which are difficult for the recipients to interpret. We propose a novel text generation model with a two-set exponential mechanism for authorship anonymization. By augmenting the semantic information through a REINFORCE training reward function, the model can generate differentially private text that has a close semantic and similar grammatical structure to the original text while removing personal traits of the writing style. It does not assume any conditioned labels or paralleled text data for training. We evaluate the performance of the proposed model on the real-life peer reviews dataset and the Yelp review dataset. The result suggests that our model outperforms the state-of-the-art on semantic preservation, authorship obfuscation, and stylometric transformation.

研究动机与目标

• 为解决现有隐私保护文本生成方法仅保护显式标识符而未保护个人写作风格的问题。
• 开发一种可生成可解释、自然语言文本而非数值向量的模型，以支持在真实世界数据发布中的实际应用。
• 在无需标注作者身份或平行训练数据的前提下，确保强隐私保障。
• 在匿名化过程中提升语义保留度与语法结构质量，避免先前方法中常见的语义损失。
• 提供一种对最坏情况对抗性再识别攻击具有鲁棒性的差分隐私框架。

提出的方法

• ER-AE 使用基于双集合指数机制的差分隐私解码过程的序列到序列自编码器架构。
• 该模型采用一种新颖的基于 REINFORCE 的奖励函数，利用预训练词嵌入引导标记替换为语义相似的替代项。
• 双集合指数机制将词汇表划分为两组：top-k 语义相似标记与其余所有标记，从而提升采样效率并生成更有意义的输出。
• 通过指数机制实现差分隐私，该机制为更符合语义相似性的输出分配更高概率，同时确保原始作者的不可区分性。
• 生成器通过强化学习端到端训练，结合嵌入奖励函数以最大化输入文本与生成文本之间的语义相似度。
• 无需平行数据或标注的作者身份，使该方法适用于真实世界中的匿名化场景。

实验结果

研究问题

• RQ1 能否构建一种差分隐私文本生成模型，在有效混淆作者写作风格的同时，仍能生成人类可读且语义连贯的文本？
• RQ2 与标准指数机制相比，所提出的双集合指数机制在大规模词汇表设置下如何提升采样效率和有意义输出的生成能力？
• RQ3 与基线方法相比，嵌入奖励函数在标记替换过程中对语义保留的增强程度如何？
• RQ4 在隐私保护、语义实用性及语法正确性方面，ER-AE 与当前最先进模型相比表现如何？
• RQ5 该模型是否能在不依赖标注数据或平行文本对的情况下维持强隐私保障？

主要发现

• ER-AE 在 Yelp 评论数据集上获得 0.75 的实用度得分，在同行评审数据集上获得 0.74，显著优于 AE-DP、SynTF 和 Random-R 在语义保留方面的表现。
• 该模型将 Yelp 数据集上的作者身份再识别成功率降至 10% 以下，并在同行评审数据集中引发超过 10 的风格特征变异幅度。
• 双集合指数机制将采样到有意义标记的概率从 0.01% 提升至约 70%，在相同隐私预算下显著提升了生成质量。
• 嵌入奖励函数使语义相关标记上的概率分布更加平滑，相比 AE-DP 倾向于保留原始标记，该方法实现了更连贯且上下文恰当的替换。
• ER-AE 生成的是人类友好的、语法正确的文本，而 SynTF 仅输出数值化术语向量，Random-R 则生成语义不连贯的文本。
• 尽管在短文本上表现优异，ER-AE 在长文本生成方面仍面临隐私预算分配问题的挑战，表明未来工作需改进预算分配策略。