[论文解读] A Dual Reinforcement Learning Framework for Unsupervised Text Style Transfer

Fuli Luo, Peng Li+5 more|arXiv (Cornell University)|May 24, 2019

Generative Adversarial Networks and Image Synthesis参考文献 27被引用 40

一句话总结

介绍 DualRL，一种双重强化学习方法，直接学习用于无监督文本风格转移的一步映射：源到目标和目标到源，并由风格准确性和内容保留奖励引导，而不依赖并行数据。

ABSTRACT

Unsupervised text style transfer aims to transfer the underlying style of text but keep its main content unchanged without parallel data. Most existing methods typically follow two steps: first separating the content from the original style, and then fusing the content with the desired style. However, the separation in the first step is challenging because the content and style interact in subtle ways in natural language. Therefore, in this paper, we propose a dual reinforcement learning framework to directly transfer the style of the text via a one-step mapping model, without any separation of content and style. Specifically, we consider the learning of the source-to-target and target-to-source mappings as a dual task, and two rewards are designed based on such a dual structure to reflect the style accuracy and content preservation, respectively. In this way, the two one-step mapping models can be trained via reinforcement learning, without any use of parallel data. Automatic evaluations show that our model outperforms the state-of-the-art systems by a large margin, especially with more than 8 BLEU points improvement averaged on two benchmark datasets. Human evaluations also validate the effectiveness of our model in terms of style accuracy, content preservation and fluency. Our code and data, including outputs of all baselines and our model are available at https://github.com/luofuli/DualLanST.

研究动机与目标

• 通过避免显式的内容-风格分离，在没有并行数据的情况下推动无监督文本风格转移。
• 提出一个用于双向风格转移（X->Y 和 Y->X）的双一步映射框架。
• 设计双重奖励，量化风格准确性和内容保留以通过强化学习引导训练。
• 引入退火式伪教师强制来用伪并行数据引导训练，并逐步过渡到纯强化学习训练。

提出的方法

• 建模两个一步序列到序列映射：f_theta: X->Y 和 g_phi: Y->X。
• 使用风格分类器为转换输出提供风格准确性奖励 R_s。
• 使用后向重构概率 P(x|y') 作为内容保留奖励 R_c。
• 将奖励合成为一个调和的总体奖励 R，以通过策略梯度训练 f 和 g（方程式 4）。
• 采用退火式伪教师强制来创建伪并行数据并逐渐依赖 RL，时间表如方程式 5。
• 使用伪并行数据进行预训练，然后在 f 和 g 之间交替进行 RL 更新以形成闭环（算法 1）。
• 使用回译启发的伪数据生成和退火计划来减轻暴露偏差（算法 2）。
• 使用自动指标（风格准确性、BLEU、G2、H2）和对 Yelp（情感）和 Gyafc（正式程度）的人工评估进行评估。

实验结果

研究问题

• RQ1 在不进行显式内容-风格分离的情况下，双一步映射框架是否能够学习无监督文本风格转移？
• RQ2 用于风格准确性和内容保留的双重奖励是否能够在非并行数据上实现有效的基于强化学习的训练？
• RQ3 退火式伪教师强制是否有助于引导 RL 启动并随着时间的推移减少对伪并行数据的依赖？
• RQ4 在自动和人工评估中，DualRL 与最先进的无监督风格转移方法的比较如何？

主要发现

• DualRL 在两个数据集的自动评估中实现最佳整体性能（G2 和 H2），并在基于 BLEU 的内容保留指标上有显著提升。
• 人工评估显示 DualRL 取得最佳平均分和更高的成功转移率，相较基线方法。
• 该方法在风格准确性、内容保留和流畅度之间取得平衡，在情感（Yelp）和正式度（Gyafc）任务上超越若干强基线。
• 消融研究表明，将 RL 与 MLE 结合（RL+MLE）在风格准确性与内容/流畅性之间提供最佳权衡。
• 该方法表明直接学习带有双奖励的双向一步映射可以超越先前的两步或基于回译的方法。