[论文解读] Controllable Text Simplification with Explicit Paraphrasing

Mounica Maddela, Fernando Alva-Manchego+1 more|arXiv (Cornell University)|Oct 21, 2020

Text Readability and Simplification参考文献 66被引用 7

一句话总结

本文提出了一种混合文本简化模型，结合了基于语言学动机的句子拆分与删除规则，以及神经 paraphrasing 模型，从而实现对简化风格的更强控制。通过引入一种新颖的数据增强方法，该模型在提升 paraphrasing 效果和输出长度、拆分频率及词汇复制率的可控性方面达到了最先进性能。

ABSTRACT

Text Simplification improves the readability of sentences through several rewriting transformations, such as lexical paraphrasing, deletion, and splitting. Current simplification systems are predominantly sequence-to-sequence models that are trained end-to-end to perform all these operations simultaneously. However, such systems limit themselves to mostly deleting words and cannot easily adapt to the requirements of different target audiences. In this paper, we propose a novel hybrid approach that leverages linguistically-motivated rules for splitting and deletion, and couples them with a neural paraphrasing model to produce varied rewriting styles. We introduce a new data augmentation method to improve the paraphrasing capability of our model. Through automatic and manual evaluations, we show that our proposed model establishes a new state-of-the-art for the task, paraphrasing more often than the existing systems, and can control the degree of each simplification operation applied to the input texts.

研究动机与目标

• 解决端到端序列到序列模型在文本简化中的局限性，这些模型主要依赖删除操作，缺乏 paraphrasing 能力。
• 通过实现对句子拆分、删除和词汇 paraphrasing 的细粒度控制，提升简化输出的可控性。
• 通过基于中间简化输出的新数据增强策略，提升神经 paraphrasing 模型的多样性与有效性。
• 创建一个新的评估基准 Newsela-Turk，包含多个真人参考文本，以更准确评估简化中的词汇 paraphrasing。
• 证明结合符号规则与神经生成的混合架构在自动与人工评估中均优于现有端到端模型。

提出的方法

• 该模型首先应用基于语言学动机的规则，通过句子拆分与删除生成中间简化结果，产生一组候选输出。
• 采用成对神经排序模型，基于简化质量从中间输出中选择最高质量的候选。
• 将选定的候选通过在中间输出上微调的神经 paraphrasing 模型重写，以提升词汇多样性与流畅性。
• 通过将中间简化结果用作训练样本，引入一种新颖的数据增强方法，以增强 paraphrasing 模型生成多样化 paraphrase 的能力。
• 通过控制输入中词汇复制比例的软约束（由超参数 cp 控制），实现对 paraphrasing 强度的调节。
• 通过选择满足特定结构标准的候选，实现对句子拆分数与删除率的动态控制。

实验结果

研究问题

• RQ1 分离基于规则的简化与神经 paraphrasing 的混合模型，是否能比端到端 seq2seq 模型实现更优的 paraphrasing 性能？
• RQ2 该模型在简化输出中，对句子拆分、删除与词汇 paraphrasing 程度的控制能力有多强？
• RQ3 使用中间简化输出进行数据增强，是否能显著提升神经 paraphrasing 的多样性与质量？
• RQ4 所提出的模型能否生成比现有最先进系统更接近人工编辑参考文本的简化结果？
• RQ5 该模型在专为评估文本简化中 paraphrasing 质量而设计的新评估基准上的表现如何？

主要发现

• 该模型在 Newsela 测试集上实现了新的 SARI 得分最先进水平，在自动与人工评估中均优于先前的端到端模型。
• 与先前系统相比，该模型显著提升了 paraphrasing 频率：17.0% 的输出引入了新词汇（对比先前工作的 0.7%–11.2%），表明更强的词汇多样性。
• 该模型在简化风格控制方面表现有效：在复制比例（cp）为 0.8 时，产生 31.8% 的句子拆分与 3.0% 的完全相同输出，显示出高多样性。
• 包含多个真人参考的 Newsela-Turk 新数据集，使 paraphrasing 评估更加可靠，结果表明该模型生成的输出比现有系统更接近人类参考。
• 数据增强方法显著提升了 paraphrasing 模型生成多样化、流畅且有意义重写结果的能力，经自动与人工评估均得到验证。
• 该模型减少了对删除的过度依赖——仅产生 3.0% 的完全相同输出——同时保持高流畅性与语义保留性，而先前模型常产生短小、退化的输出。