[论文解读] $A^{4}NT$: Author Attribute Anonymity by Adversarial Training of Neural Machine Translation

Rakshith Shetty, Bernt Schiele+1 more|arXiv (Cornell University)|Nov 6, 2017

Authorship Attribution and Profiling参考文献 45被引用 5

一句话总结

本文提出 A⁴NT，一种完全自动化的端到端神经网络，通过对抗性训练来匿名化性别、年龄和身份等作者属性，将文本转换为模仿目标人口统计群体写作风格。该方法在保持语义意义的同时，成功欺骗属性分类器，性能优于基线方法，且无需成对训练数据。

ABSTRACT

Text-based analysis methods allow to reveal privacy relevant author attributes such as gender, age and identify of the text's author. Such methods can compromise the privacy of an anonymous author even when the author tries to remove privacy sensitive content. In this paper, we propose an automatic method, called Adversarial Author Attribute Anonymity Neural Translation ($A^4NT$), to combat such text-based adversaries. We combine sequence-to-sequence language models used in machine translation and generative adversarial networks to obfuscate author attributes. Unlike machine translation techniques which need paired data, our method can be trained on unpaired corpora of text containing different authors. Importantly, we propose and evaluate techniques to impose constraints on our $A^4NT$ to preserve the semantics of the input text. $A^4NT$ learns to make minimal changes to the input text to successfully fool author attribute classifiers, while aiming to maintain the meaning of the input. We show through experiments on two different datasets and three settings that our proposed method is effective in fooling the author attribute classifiers and thereby improving the anonymity of authors.

研究动机与目标

• 解决 NLP 驱动的作者属性分类器可能从写作风格推断性别、年龄或身份所带来的隐私风险。
• 开发一种完全自动化、数据驱动的方法，通过无需手工规则或成对数据的方式混淆作者属性。
• 在最小化但有效改变写作风格的同时，保留原始文本的语义内容以逃避检测。
• 实现在不同属性和未见分类器架构上的泛化能力。

提出的方法

• 将序列到序列的神经机器翻译模型改编为核心架构，用于无成对数据的风格迁移。
• 采用对抗性训练，其中生成器（A⁴NT）被训练以欺骗判别器（属性分类器）将其输出误分类为目标属性类别。
• 引入重构似然损失，以保持输入与输出文本之间的语义相似性。
• 采用类似 GAN 的端到端框架进行模型训练，其中生成器同时最小化目标类别上的分类误差和重构损失。
• 评估了三种变体：CycML、CycML+Lang，以及引入语言特异性约束以提升风格迁移保真度的变体。
• 系统在隐私-语义相似性权衡曲线上运行，允许用户根据需求调节隐私与语义保留之间的平衡。

实验结果

研究问题

• RQ1 一个完全可端到端训练的神经网络能否在无成对训练数据的情况下，有效匿名化性别、年龄和身份等作者属性？
• RQ2 对抗性训练框架在成功欺骗属性分类器的同时，语义意义的保留程度如何？
• RQ3 该模型在未见分类器架构和数据集上的泛化能力有多强？
• RQ4 在不同输入难度级别下，隐私增益与语义相似性之间的权衡关系如何？
• RQ5 该方法在政治演讲等具有强烈风格差异的高风险、高难度数据上的有效性如何？

主要发现

• A⁴NT 模型在性别、年龄和身份三种设置下均成功欺骗了属性分类器，展现出对未见模型的稳健泛化能力。
• 平均而言，A⁴NT 在困难输入上将属性分类器得分降低了约 0.45，显著优于基线方法。
• CycML+Lang 变体表现最佳，在所有输入难度级别下均保持了更高的 meteor 得分（语义相似性）。
• 超过 90% 的测试实例显示出正向隐私增益，仅有极少数情况导致隐私降低。
• 该模型在高度风格化的政治演讲数据上也表现有效，尽管这需要更多的语义修改，表明隐私与语义保留之间存在权衡。