[论文解读] Abstractive Summarization of Large Document Collections Using GPT

Shutian Liu, Christopher G. Healey|arXiv (Cornell University)|Oct 9, 2023

Topic Modeling被引用 7

一句话总结

论文提出一个可扩展的流水线，通过语义聚类、分块以及使用 GPT 进行分块层面的抽象摘要，随后进行情感感知可视化以实现对大文档集合的总结。

ABSTRACT

This paper proposes a method of abstractive summarization designed to scale to document collections instead of individual documents. Our approach applies a combination of semantic clustering, document size reduction within topic clusters, semantic chunking of a cluster's documents, GPT-based summarization and concatenation, and a combined sentiment and text visualization of each topic to support exploratory data analysis. Statistical comparison of our results to existing state-of-the-art systems BART, BRIO, PEGASUS, and MoCa using ROGUE summary scores showed statistically equivalent performance with BART and PEGASUS on the CNN/Daily Mail test dataset, and with BART on the Gigaword test dataset. This finding is promising since we view document collection summarization as more challenging than individual document summarization. We conclude with a discussion of how issues of scale are

研究动机与目标

• 将抽象摘要从单文档扩展到大集合的规模挑战
• 开发一个端到端流水线，在降低输入规模以便 GPT 处理的同时保留语义内容
• 用情感分析和交互式可视化增强摘要，便于探索性数据分析
• 在标准数据集上对比最先进的抽象摘要系统，评估可扩展性与质量

提出的方法

• 使用基于 FAISS 的相似性、UMAP 投影和 HDBSCAN 聚类，对文档集合进行语义聚类和降维
• 识别每个簇的主题代表性术语集合并构建代表性术语集合
• 使用 SentenceBERT 嵌入和基于变点的分块方法将簇内句子拆分为语义分块
• 通过 GPT 的 completion API 对每个语义分块进行摘要，并将分块摘要拼接成集合级抽象摘要
• 对每个语义分块执行基于术语的情感分析，以估计愉悦度和唤醒度
• 在交互式仪表板中可视化摘要和情感，进行探索性分析

(a)

实验结果

研究问题

• RQ1 GPT 基于摘要的能力是否能够从单文档扩展到大集合而不降低质量？
• RQ2 语义聚类和分块是否比逐文档摘要在摘要连贯性和覆盖度方面提升大文档集合的摘要？
• RQ3 情感分析如何有效地整合以丰富大集合摘要并支持探索？

主要发现

• 基于 GPT 的大集合摘要在 CNN/Daily Mail 与 Gigaword 测试集上达到与最先进的单文档摘要器相当的 ROUGE 表现
• 语义聚类和分块使以分块级别而非逐句级别进行摘要成为可能，从而实现可扩展性
• 该方法支持对主题级摘要进行交互式情感感知可视化
• 该方法展现出将抽象摘要扩展到比现有系统更大集合的潜力

(b)