[论文解读] Cycle-Consistent Adversarial Autoencoders for Unsupervised Text Style Transfer

Yufang Huang, Wentao Zhu+4 more|arXiv (Cornell University)|Oct 2, 2020

Generative Adversarial Networks and Image Synthesis参考文献 34被引用 7

一句话总结

该论文提出了一种新型端到端无监督文本风格迁移框架——循环一致性对抗自编码器（CAE），该框架利用LSTM自编码器、对抗性风格迁移网络以及循环一致性约束，在实现风格迁移的同时保持内容不变。CAE在Yelp和Yahoo数据集上取得了最先进性能，在自动评估与人工评估中均优于基线模型，在风格迁移准确率和内容保留方面表现更优。

ABSTRACT

Unsupervised text style transfer is full of challenges due to the lack of parallel data and difficulties in content preservation. In this paper, we propose a novel neural approach to unsupervised text style transfer, which we refer to as Cycle-consistent Adversarial autoEncoders (CAE) trained from non-parallel data. CAE consists of three essential components: (1) LSTM autoencoders that encode a text in one style into its latent representation and decode an encoded representation into its original text or a transferred representation into a style-transferred text, (2) adversarial style transfer networks that use an adversarially trained generator to transform a latent representation in one style into a representation in another style, and (3) a cycle-consistent constraint that enhances the capacity of the adversarial style transfer networks in content preservation. The entire CAE with these three components can be trained end-to-end. Extensive experiments and in-depth analyses on two widely-used public datasets consistently validate the effectiveness of proposed CAE in both style transfer and content preservation against several strong baselines in terms of four automatic evaluation metrics and human evaluation.

研究动机与目标

• 为解决无平行数据下的无监督文本风格迁移挑战，其中内容保留与风格迁移难以平衡。
• 克服现有方法因自然语言中内容与风格的细微交互而难以解耦内容与风格的局限性。
• 在潜在空间中引入循环一致性约束，以增强风格迁移过程中的内容保留能力。
• 构建一个仅基于非平行单语语料的端到端可训练框架。
• 通过在真实世界数据集上的全面自动评估与人工评估，验证模型的有效性。

提出的方法

• 该模型使用基于LSTM的自编码器将输入句子编码为潜在表征，并将其解码回原始形式，以在原始风格下保留内容。
• 对抗性风格迁移网络通过生成器将一种风格空间中的潜在表征映射到另一种风格空间，判别器则引导生成结果以确保风格的真实性。
• 循环一致性约束要求经风格迁移后的表征能够被重建回原始表征，从而最小化重建误差，提升内容保留效果。
• 整个框架通过重建损失、对抗性损失与循环一致性损失的组合实现端到端训练。
• 该方法在非平行数据上运行，学习风格特定的潜在空间，无需平行句对。
• 通过将多风格问题分解为成对风格迁移，该架构支持在多种风格之间进行迁移。

实验结果

研究问题

• RQ1 潜在空间中的循环一致性约束是否能有效提升无监督文本风格迁移过程中的内容保留？
• RQ2 对抗性风格迁移网络在缺乏平行训练数据的情况下，能否对未见的句子结构实现良好泛化？
• RQ3 所提出的CAE框架在风格迁移质量与内容保真度方面，相较于现有最先进基线模型的优越程度如何？
• RQ4 该模型在迁移至情感或主题等多样化文本风格时，能否保持语言流畅性与语义连贯性？
• RQ5 与最近邻检索相比，该模型在迁移后句子的语义与句法新颖性方面表现如何？

主要发现

• 在Yelp和Yahoo数据集上，CAE在四项自动指标上均显著优于ARAE基线模型，在风格迁移与内容保留方面表现更优。
• 人工评估确认，CAE生成的句子在流畅性与与源句的语义接近度方面均优于ARAE生成的句子。
• 循环一致性约束有效降低了重建误差，确保迁移后的表征可被准确重建为原始形式。
• CAE生成的迁移句子在语义与句法上与训练数据中的最近邻样本明显不同，表明模型具备泛化能力而非记忆训练样本。
• 在情感迁移中，CAE能正确识别并反转情感词（如 'great' → 'horrible'），同时保留核心句子结构与语义。
• 在Yahoo数据集上，CAE成功实现了在 '娱乐与音乐' 与 '政治与政府' 主题之间的问题迁移，同时保持了问题意图与结构。