[论文解读] A Constrained Sequence-to-Sequence Neural Model for Sentence Simplification

Yaoyuan Zhang, Zhenxu Ye+3 more|arXiv (Cornell University)|Apr 7, 2017

Text Readability and Simplification参考文献 13被引用 17

一句话总结

该论文提出了一种两步法神经序列到序列模型，结合词级简化与受约束的句子级生成，以生成流畅、语法正确且真正简化的句子。通过在解码过程中对特定简化词汇施加约束，该模型在自动评估与人工评估中均优于强基线模型，实现了更高的简化度、流畅度与可读性得分。

ABSTRACT

Sentence simplification reduces semantic complexity to benefit people with language impairments. Previous simplification studies on the sentence level and word level have achieved promising results but also meet great challenges. For sentence-level studies, sentences after simplification are fluent but sometimes are not really simplified. For word-level studies, words are simplified but also have potential grammar errors due to different usages of words before and after simplification. In this paper, we propose a two-step simplification framework by combining both the word-level and the sentence-level simplifications, making use of their corresponding advantages. Based on the two-step framework, we implement a novel constrained neural generation model to simplify sentences given simplified words. The final results on Wikipedia and Simple Wikipedia aligned datasets indicate that our method yields better performance than various baselines.

研究动机与目标

• 解决现有句子简化模型存在的局限性，即要么未能实现有意义的简化，要么引入语法错误。
• 结合词级简化（词汇替换）与句子级简化（句法重构）的优势，以提升输出质量。
• 开发一种神经生成模型，在解码过程中对所需简化词汇施加约束，以确保语义保真度与简化效果。
• 在保持与原文语义相似性的同时，提升可读性与语法正确性。

提出的方法

• 采用两步简化框架：首先，利用预先构建的知识库（如PPDB）将复杂词汇替换为更简单的同义词。
• 其次，使用受约束的序列到序列模型，基于已简化的词汇生成简化后的句子，确保这些词汇在输出中出现。
• 在解码过程中，将单个词汇的约束扩展为多词约束，利用注意力机制与指针-生成网络以保留输入结构。
• 受约束的生成过程采用改进的解码策略，在生成阶段强制包含指定的简化词汇。
• 该模型在平行的维基百科与简易维基百科数据集上进行端到端训练，以优化流畅度、简化度与语义相似性。
• 该方法借鉴神经机器翻译原理，但引入硬性约束以避免生成与原文相同或未简化的句子。

实验结果

研究问题

• RQ1 结合词级与句子级简化是否能提升简化句子在流畅度与语法正确性方面的质量？
• RQ2 受约束的序列到序列模型在生成过程中确保特定简化词汇被包含的有效性如何？
• RQ3 对生成词汇施加约束是否能带来相较于无约束模型更好的可读性与语义保真度？
• RQ4 两步框架是否能降低语法错误风险，同时仍实现有意义的简化？

主要发现

• 受约束的序列到序列模型取得了20.26的iBLEU得分，显著优于基线模型，如Moses（BLEU(O,I)为99.62，但简化度仅为0.02）与SBMT。
• 该模型在Flesch可读性评分（FK）上达到12.74，优于所有基线模型，表明其可读性更优。
• 人工评估显示，受约束的序列到序列模型在语义保留方面得分为2.81，在简化度方面得分为0.96，优于词汇替换法（语义保留高但语法差）及其他基线模型。
• 多约束序列到序列模型取得了19.87的iBLEU与33.16的SARI得分，表明其在流畅度与语义相似性方面均表现优异。
• 案例研究证实，该模型能正确插入简化词汇（如用“center”替代“hub”），并重构复杂短语，避免了单纯替换导致的常见语法错误。
• 该模型成功避免了生成与输入完全相同的句子，而Moses与SBMT分别生成了116句与99句完全相同的输出。