[论文解读] Non-Parallel Text Style Transfer with Self-Parallel Supervision

Ruibo Liu, Chong Gao+3 more|arXiv (Cornell University)|Apr 18, 2022

Topic Modeling被引用 7

一句话总结

本文提出 LaMer，一种文本风格迁移框架，通过利用非平行数据集中的自平行监督，借助场景图挖掘大致平行的句子对，并微调大语言模型，实现了在情感、正式程度以及一项新提出的立场转移任务上的最先进性能，显著提升了风格迁移的准确率、内容保留度和流畅度。

ABSTRACT

The performance of existing text style transfer models is severely limited by the non-parallel datasets on which the models are trained. In non-parallel datasets, no direct mapping exists between sentences of the source and target style; the style transfer models thus only receive weak supervision of the target sentences during training, which often leads the model to discard too much style-independent information, or utterly fail to transfer the style. In this work, we propose LaMer, a novel text style transfer framework based on large-scale language models. LaMer first mines the roughly parallel expressions in the non-parallel datasets with scene graphs, and then employs MLE training, followed by imitation learning refinement, to leverage the intrinsic parallelism within the data. On two benchmark tasks (sentiment & formality transfer) and a newly proposed challenging task (political stance transfer), our model achieves qualitative advances in transfer accuracy, content preservation, and fluency. Further empirical and human evaluations demonstrate that our model not only makes training more efficient, but also generates more readable and diverse expressions than previous models.

研究动机与目标

• 为解决现有文本风格迁移模型依赖非平行数据集中的弱监督所带来的局限性，该局限性常导致风格迁移效果差和内容退化。
• 通过基于场景图的对齐方法，自动识别非平行数据集中大致平行的句子对，挖掘其内在的平行性。
• 通过结合最大似然估计（MLE）预训练与基于挖掘出的平行数据的模仿学习优化，提升训练效率和生成质量。
• 引入一项新的基准任务——立场转移，并发布相应的数据集，以评估模型在更抽象、更细微风格上的表现。
• 证明自监督挖掘平行数据可显著提升多种文本风格迁移任务的性能。

提出的方法

• 利用句子嵌入和场景图从非平行数据集中挖掘大致平行的句子对，识别源风格与目标风格之间语义对齐的表达。
• 通过最大似然估计（MLE）微调文本到文本语言模型（BART），以最大化从源风格输入生成目标风格句子的可能性。
• 应用带有对比损失的强化学习进行生成优化，通过奖励高质量的风格迁移并惩罚表现不佳的结果。
• 利用场景图捕捉结构和语义关系，即使表面标记不同，也能实现稳健的对齐。
• 将挖掘出的平行对的自监督信号整合进来，提供比非平行数据中随机配对更强的监督信号。
• 采用多阶段训练流程：(1) 基于场景图的挖掘，(2) MLE 预训练，(3) 带对比损失的模仿学习优化。

实验结果

研究问题

• RQ1 从挖掘出的句子对中获得的自平行监督是否能提升非平行数据集中文本风格迁移的性能？
• RQ2 LaMer 在风格迁移准确率、内容保留度和流畅度方面与现有无监督文本风格迁移方法相比表现如何？
• RQ3 所提出的方法能否泛化到具有挑战性的抽象风格迁移任务（如立场转移）？
• RQ4 使用场景图挖掘平行表达是否能带来更可靠且多样化的风格迁移输出？
• RQ5 自监督挖掘平行数据在多大程度上提升了训练效率和模型泛化能力？

主要发现

• 在情感迁移任务中，LaMer 在所有三项评估中均取得最高人类评分：风格得分为 5.45/7，内容得分为 4.91/7，可读性得分为 5.43/7。
• 在正式程度迁移任务中，LaMer 的风格得分为 5.50/7，内容得分为 5.45/7，可读性得分为 5.39/7，优于所有基线模型。
• 在新引入的立场转移任务中，LaMer 使用 GPT-2-large 的困惑度为 32.3，显著低于其他方法（如 CAE 的 1869.0 和 Style Transformer 的 350.0）。
• 当结合句子嵌入时，LaMer 的困惑度降至 11.4；使用自注意力监督时，困惑度为 13.3，表明生成流畅度和质量得到提升。
• 人类评估确认，与以往模型相比，LaMer 生成的表达更具可读性和多样性，各项评估维度得分均更高。
• 该方法展现出强大的泛化能力，在既有基准和新提出的具有挑战性的立场转移任务中均达到最先进水平。