[论文解读] Regularizing Output Distribution of Abstractive Chinese Social Media Text Summarization for Improved Semantic Consistency

Bingzhen Wei, Xuancheng Ren+4 more|arXiv (Cornell University)|May 10, 2018

Topic Modeling参考文献 21被引用 5

一句话总结

本文提出了一种用于抽象式中文社交媒体文本摘要的正则化方法，通过在训练过程中软化输出词分布，减少对噪声且不一致数据集中虚假词对应关系的依赖，从而提升语义一致性。该方法在人工评估中使语义一致性提升了4%，优于现有模型。

ABSTRACT

Abstractive text summarization is a highly difficult problem, and the sequence-to-sequence model has shown success in improving the performance on the task. However, the generated summaries are often inconsistent with the source content in semantics. In such cases, when generating summaries, the model selects semantically unrelated words with respect to the source content as the most probable output. The problem can be attributed to heuristically constructed training data, where summaries can be unrelated to the source content, thus containing semantically unrelated words and spurious word correspondence. In this paper, we propose a regularization approach for the sequence-to-sequence model and make use of what the model has learned to regularize the learning objective to alleviate the effect of the problem. In addition, we propose a practical human evaluation method to address the problem that the existing automatic evaluation method does not evaluate the semantic consistency with the source content properly. Experimental results demonstrate the effectiveness of the proposed approach, which outperforms almost all the existing models. Especially, the proposed approach improves the semantic consistency by 4\% in terms of human evaluation.

研究动机与目标

• 解决中文社交媒体文本抽象摘要中持续存在的语义不一致问题，其中训练数据包含与源文本无关的摘要。
• 识别出启发式数据收集导致虚假词对应关系，损害模型泛化能力和语义忠实度。
• 提出一种正则化技术，在训练过程中软化输出分布，以减少对语义无关词对的记忆。
• 设计一种实用的人工评估框架，以更准确地评估语义一致性，克服自动指标的局限性。
• 通过提升生成摘要的忠实度和连贯性，在LCSTS及类似数据集上提升模型性能。

提出的方法

• 在每个解码步骤引入软性训练目标，对输出词分布进行正则化，除参考词外还引入软目标。
• 在softmax函数中使用更高的温度参数，生成更平滑、更柔和的输出分布，降低对错误词选择的过度自信。
• 利用解码器输出层生成软化后的分布，提升词选择的鲁棒性，减少对虚假对齐的依赖。
• 使用组合损失函数进行序列到序列模型训练：交叉熵损失与真实参考词，以及与软化分布的KL散度。
• 在训练和推理阶段均应用该正则化，以稳定输出生成并提升一致性。
• 设计一种人工评估协议，包含流畅性、相关性和忠实度三个标准，以比自动指标更准确地衡量语义一致性。

实验结果

研究问题

• RQ1 训练数据中存在语义不一致摘要对抽象摘要模型的性能和一致性有何影响？
• RQ2 在训练过程中软化输出分布在多大程度上能减少模型对虚假词对应关系的记忆倾向？
• RQ3 结合流畅性、相关性和忠实度的人工评估框架是否能比自动指标更可靠地评估语义一致性？
• RQ4 所提出的正则化方法是否能在中文社交媒体文本摘要的人工评估中带来可测量的语义一致性提升？
• RQ5 在自动和人工评估指标方面，该模型与现有最先进模型相比表现如何？

主要发现

• 所提出的正则化方法在人工评估中使语义一致性提升4%，显著优于现有模型，且具有可测量的增益。
• 该模型在LCSTS基准测试中优于几乎所有现有抽象摘要模型，证实了其有效性。
• 人工评估显示，该方法显著减少了生成摘要中的幻觉和事实性不一致。
• 输出分布的软化降低了对词预测的过度自信，使摘要更具忠实度和上下文一致性。
• 人工评估框架成功识别出自动指标未能检测到的不一致，验证了其在评估语义忠实度方面的可靠性。
• 该方法通过抑制对虚假词对应关系的记忆，有效缓解了噪声且通过启发式方法构建的训练数据的影响。