[论文解读] Complexity-Weighted Loss and Diverse Reranking for Sentence Simplification

Reno Kriz, João Sedoc+5 more|arXiv (Cornell University)|Apr 4, 2019

Text Readability and Simplification参考文献 24被引用 5

一句话总结

本文提出了一种新颖的序列到序列框架用于句子简化，通过在训练过程中引入复杂度加权损失以及推理时采用多样化重排序，提升了简化后的句子在简洁性、流畅性和充分性方面的表现。该模型生成的句子比以往最先进系统更短、更简单，同时通过引入词汇复杂度建模、候选句多样性以及多标准重排序，保持了具有竞争力的人工评估得分。

ABSTRACT

Sentence simplification is the task of rewriting texts so they are easier to understand. Recent research has applied sequence-to-sequence (Seq2Seq) models to this task, focusing largely on training-time improvements via reinforcement learning and memory augmentation. One of the main problems with applying generic Seq2Seq models for simplification is that these models tend to copy directly from the original sentence, resulting in outputs that are relatively long and complex. We aim to alleviate this issue through the use of two main techniques. First, we incorporate content word complexities, as predicted with a leveled word complexity model, into our loss function during training. Second, we generate a large set of diverse candidate simplifications at test time, and rerank these to promote fluency, adequacy, and simplicity. Here, we measure simplicity through a novel sentence complexity model. These extensions allow our models to perform competitively with state-of-the-art systems while generating simpler sentences. We report standard automatic and human evaluation metrics.

研究动机与目标

• 为解决标准序列到序列模型倾向于逐字复制复杂源句的问题，导致简化结果过长且复杂。
• 通过自定义损失函数将内容词复杂度整合到训练目标中，以提升简化质量。
• 通过相似性惩罚和候选简化句聚类，在推理阶段提升输出的多样性和质量。
• 利用重排序系统从多样化候选集中选择最优简化句，该系统兼顾流畅性、充分性和简洁性。
• 证明后解码阶段的重排序在所提各组件中带来了最大的性能提升。

提出的方法

• 提出一种复杂度加权交叉熵损失，在训练过程中降低高复杂度内容词的权重，以鼓励模型选择更简单的词汇。
• 在解码过程中应用相似性惩罚，以促进生成候选简化句之间的多样性。
• 在生成后对相似候选句进行聚类，并移除高度冗余的句子，以提升多样性。
• 采用重排序模型，基于流畅性、充分性和简洁性对候选句进行评分，其中使用了新颖的句子复杂度模型。
• 利用分层词汇复杂度模型预测内容词的复杂度，以集成到损失函数中。
• 采用基于Transformer的序列到序列架构并结合束搜索进行解码，通过所提出的训练和推理技术加以增强。

实验结果

研究问题

• RQ1 将词级复杂度整合到训练损失中是否能生成更简洁、更充分的简化句？
• RQ2 在解码过程中引入多样性正则化和聚类是否能提升生成简化句的质量？
• RQ3 与标准解码相比，对多样化候选集进行重排序是否能显著提升流畅性、充分性和简洁性？
• RQ4 各个组件（复杂度损失、多样性、重排序）对整体性能的贡献如何？
• RQ5 句子长度在多大程度上与人类评分的语义保留程度相关？

主要发现

• 所提模型在SARI指标上优于以往最先进系统，显示出自动评估分数的提升。
• 该模型生成的句子显著更短，平均句长明显减少，同时保持了较高的充分性和流畅性。
• 在三个组件中，后解码阶段的重排序在自动评估和人工评估设置下均带来了最大的性能提升。
• 人工评估确认，该模型生成的简化句在感知上更简洁、更流畅，且充分性得分具有竞争力。
• 错误分析显示，长而复杂的源句、代词指代失败以及主句内容缺失是主要的失败模式，提示需要更好的篇章级建模和句子拆分能力。
• 该模型能生成训练数据中未出现的可接受简化句，表明其具备超越训练分布的泛化潜力。