[论文解读] Effective writing style imitation via combinatorial paraphrasing

Tommi Gröndahl, N. Asokan|arXiv (Cornell University)|May 31, 2019

Natural Language Processing Techniques参考文献 67被引用 7

一句话总结

本文提出 ParChoice，一种新颖的风格迁移技术，通过组合式改写与风格特定的改写选择，显著提升了现有编码器-解码器和基于规则方法的语义保留能力。ParChoice 在多作者风格模仿中成功率最高达 75%，在语义保真度和风格迁移性能方面均优于最先进基线方法，同时通过随机化改写选择可有效抵御对抗性训练攻击。

ABSTRACT

Stylometry can be used to profile or deanonymize authors against their will based on writing style. Style transfer provides a defence. Current techniques typically use either encoder-decoder architectures or rule-based algorithms. Crucially, style transfer must reliably retain original semantic content to be actually deployable. We conduct a multifaceted evaluation of three state-of-the-art encoder-decoder style transfer techniques, and show that all fail at semantic retainment. In particular, they do not produce appropriate paraphrases, but only retain original content in the trivial case of exactly reproducing the text. To mitigate this problem we propose ParChoice: a technique based on the combinatorial application of multiple paraphrasing algorithms. ParChoice strongly outperforms the encoder-decoder baselines in semantic retainment. Additionally, compared to baselines that achieve non-negligible semantic retainment, ParChoice has superior style transfer performance. We also apply ParChoice to multi-author style imitation (not considered by prior work), where we achieve up to 75% imitation success among five authors. Furthermore, when compared to two state-of-the-art rule-based style transfer techniques, ParChoice has markedly better semantic retainment. Combining ParChoice with the best performing rule-based baseline (Mutant-X) also reaches the highest style transfer success on the Brennan-Greenstadt and Extended-Brennan-Greenstadt corpora, with much less impact on original meaning than when using the rule-based baseline techniques alone. Finally, we highlight a critical problem that afflicts all current style transfer techniques: the adversary can use the same technique for thwarting style transfer via adversarial training. We show that adding randomness to style transfer helps to mitigate the effectiveness of adversarial training.

研究动机与目标

• 为解决当前风格迁移技术中的关键缺陷——语义保留能力差，特别是在非平凡改写场景下。
• 开发一种在有效迁移写作风格的同时保留原始语义内容的方法，尤其在编码器-解码器模型失效的情况下。
• 将风格迁移从单作者模仿扩展至多作者风格模仿，实现对五位作者最高达 75% 的成功率。
• 研究并缓解对抗性训练带来的威胁，即攻击者利用风格迁移技术破坏作者身份识别。
• 证明改写选择的随机化可降低对抗性训练的有效性，从而提供一种实用的防御机制。

提出的方法

• ParChoice 采用组合式方法，通过并行应用多种改写算法，生成输入文本的多样化改写变体。
• 基于风格特定标准选择最合适的改写版本，确保输出匹配目标写作风格的同时保留语义内容。
• 将该方法与基于规则的技术（如 Mutant-X）结合，进一步提升风格迁移性能，同时不牺牲语义保真度。
• ParChoice 使用多阶段流水线：首先通过多种算法生成改写，随后从生成的变体中进行风格感知选择。
• 引入随机化改写选择作为防御机制，以降低对抗性训练的有效性。
• 该方法在句子级和文档级作者身份识别数据集上进行评估，包括 Brennan-Greenstadt 和 Extended-Brennan-Greenstadt 语料库。

实验结果

研究问题

• RQ1 基于改写的方案是否能在风格迁移中实现优于编码器-解码器模型的语义保留能力？
• RQ2 ParChoice 在多作者风格模仿中的有效性如何？在多位作者中可达到多高的成功率？
• RQ3 ParChoice 是否可与基于规则的方法结合，实现在风格迁移和语义保留方面的卓越性能？
• RQ4 对抗性训练在多大程度上会破坏风格迁移技术？改写选择的随机化能否缓解此威胁？
• RQ5 在组合式框架中使用多种改写算法是否能带来更鲁棒且更多样化的风格转换？

主要发现

• ParChoice 在语义保留方面显著优于所有三种编码器-解码器基线模型，尤其在人工评估中表现突出，仅当输入被简单复制时才能达到可接受的改写效果。
• ParChoice 在五位作者的多作者风格模仿中成功率最高达 75%，证明其在复杂风格迁移场景中的有效性。
• 当与基于规则的基线方法 Mutant-X 结合时，ParChoice 在 Brennan-Greenstadt 和 Extended-Brennan-Greenstadt 语料库上实现了最高的风格迁移性能，同时比单独使用 Mutant-X 保留了更多的语义内容。
• 尽管在风格迁移方面不如单独使用 Mutant-X 有效，ParChoice 在语义保留方面仍显著优于两种最先进基于规则的技术。
• ParChoice 中的随机化改写选择有效降低了对抗性训练的有效性，使其成为唯一能抵御此类攻击的技术，尽管其风格迁移性能较低。
• 当对抗性训练应用于采用随机选择的 ParChoice 时，原始数据和转换后数据的分类准确率均下降，表明增加随机性可作为一种有效的防御机制。