[论文解读] Integrating Transformer and Paraphrase Rules for Sentence Simplification

Sanqiang Zhao, Rui Meng+3 more|arXiv (Cornell University)|Oct 26, 2018

Text Readability and Simplification参考文献 15被引用 14

一句话总结

本文提出了一种新颖的神经网络模型 DMASS+DCSS，通过将多层多头注意力架构与外部知识库（Simple PPDB）相结合，以提升句子简化性能。通过将专门用于简化规则的记忆模块与内部参数化规则学习相结合，该模型在 SARI 分数和规则利用率方面均达到当前最优水平，在简化规则的准确性和覆盖率方面优于现有方法。

ABSTRACT

Sentence simplification aims to reduce the complexity of a sentence while retaining its original meaning. Current models for sentence simplification adopted ideas from ma- chine translation studies and implicitly learned simplification mapping rules from normal- simple sentence pairs. In this paper, we explore a novel model based on a multi-layer and multi-head attention architecture and we pro- pose two innovative approaches to integrate the Simple PPDB (A Paraphrase Database for Simplification), an external paraphrase knowledge base for simplification that covers a wide range of real-world simplification rules. The experiments show that the integration provides two major benefits: (1) the integrated model outperforms multiple state- of-the-art baseline models for sentence simplification in the literature (2) through analysis of the rule utilization, the model seeks to select more accurate simplification rules. The code and models used in the paper are available at https://github.com/ Sanqiang/text_simplification.

研究动机与目标

• 解决神经网络因训练数据不足而难以学习低频简化规则的局限性。
• 通过将来自 Simple PPDB 知识库的人工整理简化规则集成到神经模型中，提升句子简化性能。
• 探究外部记忆与内部规则参数化是否能协同提升句子简化中规则的召回率与精确率。
• 证明结合记忆增强与批评家（critic-based）训练方法可实现更优的泛化能力与规则应用准确率。

提出的方法

• 该模型采用多层多头注意力机制（受 Vaswani 等，2017 年工作启发），以更好地关注输入句中与简化相关的词语。
• DMASS 方法引入外部记忆组件，用于从 Simple PPDB 中存储和检索简化规则，实现在解码过程中对规则的显式访问。
• DCSS 方法通过修改后的损失函数，将简化规则直接整合到模型共享参数中，以促进对罕见规则的学习。
• DMASS+DCSS 模型结合外部记忆与内部参数化，以平衡规则的召回率与精确率。
• 模型在正常-简化句对上进行训练，并使用 SARI 与规则利用率指标进行评估。
• 采用不同大小的束搜索（beam search）分析其对词语简化准确率与规则应用的影响。

实验结果

研究问题

• RQ1 将外部 paraphrase 知识库（Simple PPDB）集成是否能提升神经句子简化模型的性能？
• RQ2 与仅依赖内部参数化相比，使用专用记忆存储简化规则是否能提升模型性能？
• RQ3 显式集成规则在多大程度上影响模型对频繁与不频繁简化规则的应用能力？
• RQ4 束搜索大小在多大程度上影响规则利用率与简化准确率？
• RQ5 结合外部记忆与内部规则学习的混合方法是否能优于单一方法？

主要发现

• DMASS+DCSS 模型在所有对比模型中取得最高的 SARI 分数，表明其整体简化质量最优。
• 该模型在规则利用率方面展现出最佳的召回率与精确率平衡，既实现了高适用规则覆盖率，也保证了高准确率的应用。
• 集成 Simple PPDB 显著提升了模型性能，尤其在词语增删操作方面表现突出，而这些操作对高 SARI 分数至关重要。
• 更大的束搜索大小与更高的规则利用率强相关，表明模型能更充分地探索有效的简化路径。
• DMASS 在规则利用率方面优于 DCSS，表明外部记忆能更有效地保留并应用低频规则。
• SBMT-SARI 尽管召回率高，但因过度简化导致精确率表现差，凸显了规则感知记忆在减少错误转换方面的优势。