[论文解读] HipoRank: Incorporating Hierarchical and Positional Information into Graph-based Unsupervised Long Document Extractive Summarization

Yue Dong, Andrei Romascanu+1 more|arXiv (Cornell University)|May 1, 2020

Topic Modeling参考文献 45被引用 10

一句话总结

HipoRank 提出了一种基于图的无监督抽取式摘要模型，通过整合话语结构中的层次性和位置信息，增强了文档表征，将方向性和层次性引入句子图中。该模型在长文档摘要任务中达到最先进性能，在 PubMed 和 arXiv 数据集上超越了强 baseline 无监督模型，并与监督模型性能相当。

ABSTRACT

We propose a novel graph-based ranking model for unsupervised extractive summarization of long documents. Graph-based ranking models typically represent documents as undirected fully-connected graphs, where a node is a sentence, an edge is weighted based on sentence-pair similarity, and sentence importance is measured via node centrality. Our method leverages positional and hierarchical information grounded in discourse structure to augment a document's graph representation with hierarchy and directionality. Experimental results on PubMed and arXiv datasets show that our approach outperforms strong unsupervised baselines by wide margins and performs comparably to some of the state-of-the-art supervised models that are trained on hundreds of thousands of examples. In addition, we find that our method provides comparable improvements with various distributional sentence representations; including BERT and RoBERTa models fine-tuned on sentence similarity.

研究动机与目标

• 通过整合话语层面的层次性和位置信息，提升长文档无监督抽取式摘要性能。
• 通过在标准全连接、无向图之外引入方向性和结构层次，改进基于图的排序模型。
• 在无需大规模标注训练数据集的情况下，实现与监督模型相当的性能。
• 确保在不同句子表征模型（包括 BERT 和 RoBERTa）上的鲁棒性。

提出的方法

• 该方法构建一个有向的层次图，其中句子为节点，边表示句子对之间的相似度，方向性由话语结构决定。
• 通过将句子组织为话语层级（如章节和段落）来建模层级关系，以指导图的构建。
• 通过为处于更显著位置（如章节的开头和结尾）的句子分配更高的初始中心性分数，引入位置偏差。
• 使用改进的 PageRank 算法计算节点重要性，该算法尊重有向和层次化的图结构。
• 模型通过使用 BERT 和 RoBERTa 等预训练模型生成的句子嵌入端到端训练，并对句子相似度进行微调。
• 最终摘要通过根据中心性分数选择排名靠前的句子生成。

实验结果

研究问题

• RQ1 在无监督长文档摘要中，整合话语层次和句子位置是否能提升性能？
• RQ2 HipoRank 在长篇科学文献上与强无监督基线相比表现如何？
• RQ3 在无需大规模标注数据的情况下，HipoRank 能在多大程度上匹配监督模型的性能？
• RQ4 该方法是否能在不同句子表征模型（包括 BERT 和 RoBERTa）上实现泛化？

主要发现

• 在 PubMed 和 arXiv 数据集上，HipoRank 在 ROUGE-1、ROUGE-2 和 ROUGE-L 指标上显著优于强无监督基线模型。
• 该模型在性能上可与需数百上千个标注样本的最先进监督模型相媲美。
• 在对句子相似度进行微调后，该方法在不同句子表征模型（包括 BERT 和 RoBERTa）上均保持一致的性能提升。
• 整合层次与位置信息可生成更连贯、更具上下文相关性的摘要，尤其在长而结构化的文档中表现更优。