[论文解读] Improved Neural Text Attribute Transfer with Non-parallel Data

Igor Melnyk, Cícero Nogueira dos Santos+3 more|arXiv (Cornell University)|Nov 26, 2017

Topic Modeling参考文献 7被引用 10

一句话总结

该论文提出了一种新颖的非平行数据神经文本属性迁移框架，通过使用协同分类器和一组专用损失函数（包括基于注意力的循环损失和一种新型名词保留损失），在内容保留和情感迁移准确率方面实现了提升。该方法在两个数据集上均优于强基线模型，在Yelp数据集上实现了94.4%的情感准确率和77.1%的内容保留率，在Amazon数据集上分别达到59.5%和77.5%。

ABSTRACT

Text attribute transfer using non-parallel data requires methods that can perform disentanglement of content and linguistic attributes. In this work, we propose multiple improvements over the existing approaches that enable the encoder-decoder framework to cope with the text attribute transfer from non-parallel data. We perform experiments on the sentiment transfer task using two datasets. For both datasets, our proposed method outperforms a strong baseline in two of the three employed evaluation metrics.

研究动机与目标

• 解决缺乏平行训练数据的文本属性迁移挑战，其中无法获得真实配对样本。
• 在风格迁移过程中提升内容保留能力，确保关键语义元素（如名词）保持一致。
• 开发一种可扩展的多属性迁移方法，避免使用多个判别器。
• 通过引入协同分类器，克服非平行设置下游对抗训练的局限性。
• 在生成文本的情感迁移准确率、内容保留和流畅性之间实现平衡。

提出的方法

• 采用单个编码器-解码器架构并结合注意力机制，从输入文本生成迁移后的句子。
• 引入一种基于CNN的协同分类器，为属性迁移提供训练信号，而无需依赖对抗训练。
• 应用前向重建损失，确保原始句子具备自编码能力。
• 应用循环损失，以强制保证正向和反向迁移之间的一致性（即 x → y → x 应接近 x）。
• 引入一种新型名词保留损失，对生成输出中缺失原始句子关键名词的情况施加惩罚。
• 结合交叉熵损失用于情感分类，以及基于困惑度的语言建模损失以评估文本流畅性。

实验结果

研究问题

• RQ1 协同分类器能否在非平行文本属性迁移中有效替代对抗判别器？
• RQ2 注意力机制与循环重建结合是否能有效提升风格迁移中的内容保留？
• RQ3 专用名词保留损失是否能显著增强迁移文本中的语义一致性？
• RQ4 所提出的损失函数如何影响情感迁移准确率与流畅性（困惑度）之间的权衡？
• RQ5 该方法能否在不同数据集和属性类型上泛化，例如在不同领域中实现情感迁移？

主要发现

• 在Yelp数据集上，所提方法实现了94.4%的情感迁移准确率，显著优于基线模型的86.5%。
• 在Yelp数据集上，该方法实现了77.1%的内容保留准确率，而基线仅为38.3%，展现出更优的语义一致性。
• 在Amazon数据集上，该方法实现了59.5%的情感准确率和77.5%的内容保留率，而基线分别为32.8%和71.6%。
• 尽管困惑度得分更高（Yelp上为80.1，基线为27.0），所提方法生成的输出在语义忠实度和风格准确性方面更优。
• 定性分析表明，该方法能更好地保留原始实体和名词，而基线模型常会改变或遗漏关键内容。
• 由于采用单分类器设计，该方法在多属性迁移方面展现出潜力，其扩展效率优于对抗性方法。