[论文解读] Generating Representative Headlines for News Stories

Xiaotao Gu, Yuning Mao+8 more|arXiv (Cornell University)|Jan 26, 2020

Topic Modeling参考文献 59被引用 7

一句话总结

本文提出NHNet，一种用于新闻故事的神经标题生成模型，通过利用远程监督和多级预训练，在无需人工标注训练数据的情况下生成具有代表性的标题。通过引入基于自投票的文章注意力机制，该模型有效捕捉了多篇新闻文章之间的共享信息，在干净和嘈杂数据集上均优于基线模型，同时减少了对昂贵人工标注的依赖。

ABSTRACT

Millions of news articles are published online every day, which can be overwhelming for readers to follow. Grouping articles that are reporting the same event into news stories is a common way of assisting readers in their news consumption. However, it remains a challenging research problem to efficiently and effectively generate a representative headline for each story. Automatic summarization of a document set has been studied for decades, while few studies have focused on generating representative headlines for a set of articles. Unlike summaries, which aim to capture most information with least redundancy, headlines aim to capture information jointly shared by the story articles in short length, and exclude information that is too specific to each individual article. In this work, we study the problem of generating representative headlines for news stories. We develop a distant supervision approach to train large-scale generation models without any human annotation. This approach centers on two technical components. First, we propose a multi-level pre-training framework that incorporates massive unlabeled corpus with different quality-vs.-quantity balance at different levels. We show that models trained within this framework outperform those trained with pure human curated corpus. Second, we propose a novel self-voting-based article attention layer to extract salient information shared by multiple articles. We show that models that incorporate this layer are robust to potential noises in news stories and outperform existing baselines with or without noises. We can further enhance our model by incorporating human labels, and we show our distant supervision approach significantly reduces the demand on labeled data.

研究动机与目标

• 解决由多篇报道同一事件的新闻文章组成的新闻故事生成简洁、具有代表性的标题的挑战。
• 通过引入远程监督方法，减少训练标题生成模型对昂贵人工标注数据的依赖。
• 通过设计基于自投票的文章注意力机制，提升模型对新闻文章中噪声的鲁棒性。
• 通过发布首个人工精心整理的数据集NewSHead（包含36.7万条新闻故事），建立多文档标题生成的新基准。
• 通过多级预训练框架提升模型性能，实现在无标注语料中质量与数量的平衡。

提出的方法

• 提出一种远程监督方法，即使用故事聚类中最具代表性文章的标题作为训练的代理标题，从而消除对人工标注标题的需求。
• 引入一种多级预训练框架，将不同质量与数量级别的无标注语料纳入其中，以提升模型在人类标注数据之外的泛化能力。
• 设计一种基于自投票的文章注意力层，通过建模文章间的相关性来实现投票机制，聚合多篇文章中的关键共享内容。
• 采用基于Transformer的编码器-解码器架构，并在远程监督数据上进行微调，其中自投票注意力层增强了对共同故事级信息的关注。
• 将远程监督数据与少量人工标注标签相结合，进一步提升性能，证明了数据效率。
• 利用NewSHead基准进行评估，该基准包含36.7万条新闻故事，每条故事包含3至5篇文章，支持与现有方法的严格比较。

Figure 1. An example of automatically generated story headline for articles about “Raptors vs. Bucks”.

实验结果

研究问题

• RQ1 远程监督方法是否能有效生成无需人工标注标题的标题生成训练数据？
• RQ2 与仅在人工整理数据上训练相比，使用多样化无标注语料进行多级预训练在多大程度上提升了标题生成性能？
• RQ3 基于自投票的文章注意力机制在多大程度上增强了模型对噪声或不一致文章内容的鲁棒性？
• RQ4 所提模型在干净和嘈杂数据集上的表现如何？其在不同数据质量下的泛化能力如何？
• RQ5 当与大规模远程监督数据结合时，有限的人工标注标签是否能显著提升模型性能？

主要发现

• 所提出的远程监督方法使模型可在比此前最大多文档摘要数据集大六倍的语料上进行训练，显著减少了对人工标注数据的依赖。
• 采用多级预训练框架训练的模型优于仅在人工整理语料上训练的模型，证明了引入高数量、低质量无标注数据的益处。
• 基于自投票的文章注意力机制提升了模型鲁棒性，在干净和嘈杂数据集上均优于基线模型。
• NHNet在NewSHead基准上达到最先进性能，在ROUGE和人工评估指标上均优于现有方法。
• 通过少量人工标注标签进行微调可进一步提升性能，表明远程监督数据能有效为模型下游适应提供预训练。
• NewSHead的发布——一个包含36.7万条新闻故事的人工精心整理数据集——为多文档标题生成提供了首个全面基准，推动未来研究与评估。

(a) Topic Distribution