[论文解读] Controllable Sentence Simplification: Employing Syntactic and Lexical Constraints

Jonathan Mallinson, Mirella Lapata|arXiv (Cornell University)|Oct 10, 2019

Text Readability and Simplification参考文献 45被引用 14

一句话总结

该论文提出CROSS，一种基于Transformer架构的可控句子简化模型，通过显式句法和词汇约束，根据用户特定需求定制简化过程。通过引入可学习或用户自定义的约束，该模型在基准数据集上实现了最先进性能，同时实现了对简化程度和类型的灵活控制，包括词汇替换和句法重构。

ABSTRACT

Sentence simplification aims to make sentences easier to read and understand. Recent approaches have shown promising results with sequence-to-sequence models which have been developed assuming homogeneous target audiences. In this paper we argue that different users have different simplification needs (e.g. dyslexics vs. non-native speakers), and propose CROSS, ContROllable Sentence Simplification model, which allows to control both the level of simplicity and the type of the simplification. We achieve this by enriching a Transformer-based architecture with syntactic and lexical constraints (which can be set or learned from data). Empirical results on two benchmark datasets show that constraints are key to successful simplification, offering flexible generation output.

研究动机与目标

• 解决现有句子简化模型对所有用户一视同仁的局限性，尽管用户需求各异，如阅读障碍、低阅读水平或非母语语言能力不足。
• 开发一个统一模型，可在无需从头开始训练的情况下适应不同用户需求。
• 通过显式约束实现对简化程度和类型（包括词汇和句法）的控制。
• 通过将结构化和词汇约束整合到基于Transformer的序列到序列框架中，提升简化质量。
• 证明约束能同时增强可控性与性能，为多样化用户群体提供灵活解决方案。

提出的方法

• 在基于Transformer的编码器-解码器模型中引入句法和词汇约束，以在解码过程中引导简化决策。
• 在训练数据中加入显式标注，用于词汇替换（例如，保留或替换词语）和句法简化（例如，用于语态、时态或句子拆分的模板）。
• 允许用户在推理时指定约束，例如增加词汇替换数量或句法转换次数。
• 在训练后应用约束，使单一模型可服务于多种用户配置而无需重新训练。
• 设计解码过程，先根据约束生成目标句法结构，再生成词汇标记，以确保句法一致性。
• 结合人工整理和数据学习的约束，包括高频简化模式和复杂词汇列表（例如，Newsela的12,000个最复杂词汇）。

实验结果

研究问题

• RQ1 句法和词汇约束能否有效集成到基于Transformer的序列到序列模型中，以提升句子简化效果？
• RQ2 在不重新训练的前提下，约束在多大程度上能实现对简化程度和类型（如词汇变化与句法变化）的控制？
• RQ3 与无约束模型相比，基于约束的简化在语法正确性、语义完整性和简化程度方面表现如何？
• RQ4 通过可调节的约束设置，模型能否生成针对不同用户需求（如阅读障碍读者与非母语学习者）的定制化输出？
• RQ5 当增加约束强度时，简化程度与输出质量（如语法正确性、语义完整性）之间存在何种权衡？

主要发现

• CROSS在WikiLarge基准上实现了最先进性能，其最小分数（Minimum score）在所有评估模型中最佳。
• 该模型能成功生成不同简化程度的输出：'Simple'与'XSimple'变体在FKGL分数上存在显著差异，表明其代表了不同的简化层级。
• 在Newsela数据集上的人工评估显示，'XSimple'输出在语义完整性和语法正确性方面显著低于'Simple'输出，表明简化程度与流畅性之间存在权衡。
• 在WikiLarge数据集上，'Simple'与'XSimple'输出的人工评分无显著差异，表明该数据集中权衡更为均衡。
• CROSS执行的句法简化（如语态转换、时态调整、句子拆分）显著多于基线Transformer模型，且与参考简化结果高度一致。
• 该模型在训练后仍能应用约束，使其实现对不同用户需求的灵活适配而无需重新训练，展现出强大的可控性。