[论文解读] Importance of Copying Mechanism for News Headline Generation

Ilya Gusev|arXiv (Cornell University)|Apr 25, 2019

Topic Modeling参考文献 7被引用 5

一句话总结

本文提出了一种结合字节对编码（BPE）的复制增强序列到序列模型，用于俄语新闻标题生成，证明复制源词显著提升了性能。该模型在测试集上的ROUGE得分为23，比无复制机制的基线模型高出8分，验证了复制机制在处理命名实体、数字及词形丰富的语言时的关键作用。

ABSTRACT

News headline generation is an essential problem of text summarization because it is constrained, well-defined, and is still hard to solve. Models with a limited vocabulary can not solve it well, as new named entities can appear regularly in the news and these entities often should be in the headline. News articles in morphologically rich languages such as Russian require model modifications due to a large number of possible word forms. This study aims to validate that models with a possibility of copying words from the original article performs better than models without such an option. The proposed model achieves a mean ROUGE score of 23 on the provided test dataset, which is 8 points greater than the result of a similar model without a copying mechanism. Moreover, the resulting model performs better than any known model on the new dataset of Russian news.

研究动机与目标

• 评估复制机制在俄语等词形丰富的语言中生成标题时的影响。
• 解决新闻文章中频繁出现的新命名实体、日期和数字导致的未登录词（OOV）问题。
• 通过结合BPE子词分词与CopyNet直接复制源词的能力，提升标题生成性能。
• 证明具备复制机制的模型在公共和私有测试集上均优于标准序列到序列模型。

提出的方法

• 采用基于LSTM的编码器-解码器架构，并引入Bahdanov注意力机制。
• 使用sentencepiece库进行字节对编码（BPE），以减少未登录词并更好地处理俄语的词形变化。
• 集成CopyNet作为解码机制，使模型能够从词汇表生成词，或直接从源文章复制词原样。
• 在RIA Novosti新闻文章上进行训练，并使用ROUGE指标在RIA和Lenta.ru数据集上进行评估。
• 由于AllenNLP框架具备模块化设计及对CopyNet和BPE的原生支持，选择其作为实现工具。
• 对比多种配置：词级别与BPE分词、有无复制机制，以及不同规模的训练数据。

实验结果

研究问题

• RQ1 与标准序列到序列模型相比，引入复制机制是否能提升俄语新闻标题生成的性能？
• RQ2 BPE子词分词在词形丰富的语言（如俄语）中减少未登录词的效率如何？
• RQ3 复制机制在多大程度上缓解了罕见或未见命名实体、数字和日期在标题中导致的错误？
• RQ4 结合复制机制与BPE的模型是否能在公共和私有测试集上超越现有最先进模型？
• RQ5 为何尽管复制机制在摘要任务中已被证实有效，但许多竞赛参与者仍未采用？

主要发现

• 所提模型在测试数据集上的平均ROUGE得分为23，比无复制机制的基线模型高出8分。
• 无复制机制的模型在命名实体（如'бельтюков' → UNK）上频繁生成UNK标记，导致标题无效。
• CopyNet结合BPE的模型表现最佳（ROUGE 23），显著优于词级别模型及无复制机制的模型。
• 该模型在秘密测试集上的表现与在Lenta.ru数据集上几乎一致，表明可能存在数据重叠或分布相似。
• 即使BPE词汇表较小（10M），CopyNet-BPE模型仍达到20.32的ROUGE得分，表明复制机制可弥补词汇量有限的缺陷。
• 未进行人工评估，但定性分析显示，CopyNet模型正确保留了'sколkovо'、'sevilya'和'mark daych'等关键实体，而无复制机制的模型则出现错误或失败。