[论文解读] A Hierarchical Reinforced Sequence Operation Method for Unsupervised Text Style Transfer

Chen Wu, Xuancheng Ren+2 more|arXiv (Cornell University)|Jun 5, 2019

Natural Language Processing Techniques参考文献 25被引用 5

一句话总结

本文提出 Point-Then-Operate (PTO)，一种用于无监督文本风格迁移的分层强化学习方法，通过将操作规划（高层智能体）与执行（低层智能体）分离，提升了可解释性、内容保留能力以及可控的风格-内容权衡。实验表明，PTO 在 Yelp 和 Amazon 数据集上的流畅性、风格迁移质量和内容保留方面均优于近期方法。

ABSTRACT

Unsupervised text style transfer aims to alter text styles while preserving the content, without aligned data for supervision. Existing seq2seq methods face three challenges: 1) the transfer is weakly interpretable, 2) generated outputs struggle in content preservation, and 3) the trade-off between content and style is intractable. To address these challenges, we propose a hierarchical reinforced sequence operation method, named Point-Then-Operate (PTO), which consists of a high-level agent that proposes operation positions and a low-level agent that alters the sentence. We provide comprehensive training objectives to control the fluency, style, and content of the outputs and a mask-based inference algorithm that allows for multi-step revision based on the single-step trained agents. Experimental results on two text style transfer datasets show that our method significantly outperforms recent methods and effectively addresses the aforementioned challenges.

研究动机与目标

• 解决现有 seq2seq 方法在无监督文本风格迁移中可解释性较弱的问题。
• 克服尽管风格迁移强烈但生成输出中内容保留较差的问题。
• 解决现有方法中内容保留与风格极性之间难以调和的权衡问题。
• 开发一种方法，实现对输入句子的显式、分步修订，以提升控制力与可解释性。
• 利用仅单步训练的分层强化学习框架，实现稳定训练与多步推理。

提出的方法

• 采用分层强化学习（HRL）框架，其中高层智能体负责提出操作位置，低层智能体负责执行句子修改。
• 使用基于策略的训练算法，结合全面的奖励机制：语言模型奖励用于流畅性，分类置信度奖励与辅助任务用于风格极性，以及带自监督损失的重建奖励用于内容保留。
• 引入基于掩码的推理算法，在推理阶段实现多步修订，同时仅在单步轨迹上进行训练，从而提升训练稳定性。
• 采用基于窗口的操作机制（窗口大小=1），以处理局部语义单元，并避免删除操作时遮蔽上下文。
• 训练高层智能体以选择操作位置（如替换、删除），并训练低层智能体根据这些位置执行特定于风格的编辑。
• 通过调节操作步骤数量来平衡风格-内容权衡，实现可控的风格化强度。

实验结果

研究问题

• RQ1 分层强化学习框架是否能通过显式建模操作位置与动作，提升文本风格迁移的可解释性？
• RQ2 与端到端 seq2seq 模型相比，基于序列操作的方法在保留与风格无关的内容方面能实现多大程度的提升？
• RQ3 在无监督设置下，风格极性与内容保留之间的权衡能否得到有效控制？
• RQ4 基于掩码的推理策略是否能仅通过单步训练的智能体实现稳定且有效的多步修订？
• RQ5 与近期最先进的无监督文本风格迁移模型相比，所提方法在流畅性、风格迁移质量与内容保留方面表现如何？

主要发现

• PTO 在 Yelp 和 Amazon 数据集上，于 BLEU 分数、流畅性与内容保留方面显著优于近期方法。
• 通过仅对风格化部分进行操作，避免对与风格无关的内容进行修改，从而实现更好的内容保留。
• 高层智能体成功识别出有意义的操作位置，相比全局 seq2seq 变换，实现了更具可解释性与局部化的修订。
• 基于掩码的推理算法在无需多步训练的情况下，实现了有效的多步修订，提升了训练稳定性。
• 通过调节操作步骤数量，可实现风格与内容之间权衡的可控调节，展示了风格迁移的可控性。
• 在定性分析中，PTO 生成的输出语法正确，能准确反转输入句子的情感，同时保留核心内容，如表 7 所示。