[论文解读] Sentence Centrality Revisited for Unsupervised Summarization

Hao Zheng, Mirella Lapata|arXiv (Cornell University)|Jun 8, 2019

Topic Modeling参考文献 48被引用 21

一句话总结

该论文提出PacSum，一种无监督抽象摘要方法，通过整合BERT进行语义表征并使用有向边建模文档结构中的位置影响，从而提升图模型中的句子中心性。该方法显著优于强基线模型（包括TextRank和Lead-3），并在三个多样化的新闻数据集上达到与在数十万份样本上训练的监督模型相当的性能。

ABSTRACT

Single document summarization has enjoyed renewed interests in recent years thanks to the popularity of neural network models and the availability of large-scale datasets. In this paper we develop an unsupervised approach arguing that it is unrealistic to expect large-scale and high-quality training data to be available or created for different types of summaries, domains, or languages. We revisit a popular graph-based ranking algorithm and modify how node (aka sentence) centrality is computed in two ways: (a)~we employ BERT, a state-of-the-art neural representation learning model to better capture sentential meaning and (b)~we build graphs with directed edges arguing that the contribution of any two nodes to their respective centrality is influenced by their relative position in a document. Experimental results on three news summarization datasets representative of different languages and writing styles show that our approach outperforms strong baselines by a wide margin.

研究动机与目标

• 开发一种对训练数据需求极少且能跨语言、领域和摘要风格泛化的无监督摘要方法。
• 解决无向图中心性度量在捕捉话语结构和文档中位置重要性方面的局限性。
• 通过用BERT生成的上下文嵌入替代传统的TF-IDF或词重叠方法，改进句子相似性计算。
• 使用有向边建模句子之间的非对称影响，反映新闻文章中较早句子通常支持较晚句子的特性。
• 证明对图排名架构进行简单修改，即可在远少于监督模型所需数据量的情况下，实现与之相当的性能。

提出的方法

• 该方法构建一个有向图，其中句子为节点，边表示使用BERT句子嵌入计算出的语义相似度。
• 边权重根据句子位置动态调整：前向边（从较早句子指向较晚句子）与后向边（从较晚句子指向较早句子）采用不同的权重。
• 使用改进的PageRank算法计算中心性分数，以考虑方向性，假设后向边（从较晚句子到较早句子）在源句子较早时对中心性贡献更大。
• 模型采用位置增强的中心性公式，为后向有向边分配更高权重，以反映话语原则：较早句子通常为较晚句子提供上下文。
• 摘要的句子选择基于最终的中心性分数，选取中心性最高的k个句子作为最终输出。
• 通过ROUGE和问答（QA）评估框架对方法进行评估，以衡量事实保留能力。

实验结果

研究问题

• RQ1 基于BERT的句子嵌入能否提升图-based无监督摘要中的句子相似性计算？
• RQ2 将句子关系建模为有向边而非无向边，是否能更有效地识别关键内容？
• RQ3 在新闻摘要中，整合位置信息（如句子顺序）在多大程度上能增强中心性估计？
• RQ4 能否通过简单、无监督的图-based方法实现与在大规模数据集上训练的监督模型相当的性能？
• RQ5 所提出的方法在不同语言、写作风格和摘要类型下是否具有鲁棒性？

主要发现

• PacSum结合BERT嵌入在所有三个数据集（CNN/Daily Mail、NYT、TTNews）上显著优于强基线模型，包括TextRank和Lead-3。
• 该模型性能与Narayan等人（2018b）和See等人（2017）的监督模型相当，后者在数十万份样本上进行训练。
• 在QA评估中，PacSum优于Lead-3，且与强无监督基线Refresh无显著差异。
• QA评估显示，PacSum成功保留了关键信息，其摘要中可回答的问题比例高于Lead-3和TextRank。
• 使用位置增强权重的有向边显著提升了中心性估计，尤其在关键信息较早出现的新闻文章中效果明显。
• 结果表明，结合BERT的有向中心性是一种强大且尚未被充分开发的无监督摘要方法，具有强大的泛化潜力。