[论文解读] Contextual Text Style Transfer

Yu Cheng, Zhe Gan+4 more|arXiv (Cornell University)|Apr 30, 2020

Topic Modeling参考文献 37被引用 5

一句话总结

本文提出了上下文文本风格迁移（Contextual Text Style Transfer），这是一种在保持语义意义和上下文连贯性的同时迁移句子风格的新任务。所提出的CAST模型采用独立的编码器分别处理句子和上下文，并结合风格分类器与连贯性分类器，通过自重建和回译损失，利用平行与非平行数据实现半监督学习，进而在两个新基准数据集Enron-Context和Reddit-Context上取得当前最优性能。

ABSTRACT

We introduce a new task, Contextual Text Style Transfer - translating a sentence into a desired style with its surrounding context taken into account. This brings two key challenges to existing style transfer approaches: ($i$) how to preserve the semantic meaning of target sentence and its consistency with surrounding context during transfer; ($ii$) how to train a robust model with limited labeled data accompanied with context. To realize high-quality style transfer with natural context preservation, we propose a Context-Aware Style Transfer (CAST) model, which uses two separate encoders for each input sentence and its surrounding context. A classifier is further trained to ensure contextual consistency of the generated sentence. To compensate for the lack of parallel data, additional self-reconstruction and back-translation losses are introduced to leverage non-parallel data in a semi-supervised fashion. Two new benchmarks, Enron-Context and Reddit-Context, are introduced for formality and offensiveness style transfer. Experimental results on these datasets demonstrate the effectiveness of the proposed CAST model over state-of-the-art methods across style accuracy, content preservation and contextual consistency metrics.

研究动机与目标

• 为解决现有风格迁移模型仅在单一句子上独立运行所导致的长文本主题连贯性差的问题。
• 开发一种在段落级别设置下，联合优化风格迁移质量与上下文一致性的模型。
• 通过自监督目标引入非平行数据，以克服平行风格迁移数据稀缺的问题。
• 建立新的上下文风格迁移基准，包括Enron-Context与Reddit-Context，并提供段落级上下文标注。
• 评估上下文感知建模在真实应用场景中对内容保留、风格准确性和连贯性的影响。

提出的方法

• CAST模型采用两个独立编码器：一个用于目标句子，另一个用于其周围的段落上下文。
• 联合解码器利用句子编码器与上下文编码器的特征，生成风格迁移后的句子。
• 使用预训练的风格分类器在生成过程中强制实现目标风格。
• 训练连贯性分类器，以确保生成的句子在语义上与上下文保持一致。
• 引入自重建与回译损失，以半监督方式利用非平行数据。
• 通过同时使用平行与非平行数据，端到端联合训练模型，以提升鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 如何改进风格迁移模型，使其在修改句子时仍能保持语义与主题一致性？
• RQ2 与仅依赖句子的模型相比，上下文感知编码器与连贯性分类器在多大程度上提升了风格迁移输出的质量？
• RQ3 自监督目标（如自重建与回译）是否能有效补偿风格迁移中平行训练数据的不足？
• RQ4 在正式与攻击性语言迁移中，上下文的引入如何影响风格准确性、内容保留与连贯性？
• RQ5 CAST模型中各组件（如上下文编码器与连贯性分类器）对整体性能的相对贡献如何？

主要发现

• 在正式/非正式语言迁移任务中，CAST达到68.04%的风格准确率，在攻击性/非攻击性语言迁移任务中达到88.45%，优于所有基线模型。
• 模型在正式化任务中将上下文连贯性提升至85.47分，在攻击性语言迁移任务中达到85.98分，显著优于上下文无关模型。
• 消融实验表明，移除上下文编码器会使连贯性下降2.56分，准确率下降2.69分，凸显其关键作用。
• 连贯性分类器使连贯性提升5.31分，但对风格准确率影响甚微。
• 使用非平行数据使风格准确率提升10.12分，连贯性提升10.02分，凸显混合训练的优势。
• 人工评估确认，CAST在内容保留、风格控制与上下文连贯性方面显著优于基线模型，65.5%的判断结果偏好CAST而非次优模型。