[论文解读] A comprehensive review of automatic text summarization techniques: method, data, evaluation and coding

Daniel O. Cajueiro, Arthur Gomes Nery+5 more|arXiv (Cornell University)|Jan 4, 2023

Topic Modeling被引用 6

一句话总结

本篇综述通过基于其底层机制对自动文本摘要（ATS）技术进行分类，评估数据集与评估指标，并利用CNN/Daily Mail语料库提供实证基准，系统性地整合了自动文本摘要技术。该综述以引用为驱动，对抽取式与生成式摘要方法进行了深入分析，突出了连贯性、完整性及评估方面的挑战，同时为实践者提供了开源工具与实现流程的指导。

ABSTRACT

We provide a literature review about Automatic Text Summarization (ATS) systems. We consider a citation-based approach. We start with some popular and well-known papers that we have in hand about each topic we want to cover and we have tracked the "backward citations" (papers that are cited by the set of papers we knew beforehand) and the "forward citations" (newer papers that cite the set of papers we knew beforehand). In order to organize the different methods, we present the diverse approaches to ATS guided by the mechanisms they use to generate a summary. Besides presenting the methods, we also present an extensive review of the datasets available for summarization tasks and the methods used to evaluate the quality of the summaries. Finally, we present an empirical exploration of these methods using the CNN Corpus dataset that provides golden summaries for extractive and abstractive methods.

研究动机与目标

• 提供一项系统性、基于引用的自动文本摘要（ATS）技术文献综述，以应对方法论多样性与研究碎片化问题。
• 根据核心机制对ATS方法进行分类——包括基于频率、基于图、神经网络、强化学习及序列到序列模型，构建统一的分类体系。
• 评估现有数据集的优势与局限性，尤其关注抽取式与生成式摘要之间的差异及领域特异性。
• 分析评估方法，强调缺乏黄金标准摘要，以及人工摘要与机器摘要对比的挑战。
• 通过实证练习与开源库的回顾，弥合理论与实践之间的鸿沟，指导摘要模型的实现与比较。

提出的方法

• 本综述采用基于引用的研究方法：从奠基性、高被引论文出发，追踪其前向引用（后续研究）与后向引用（前驱工作），以描绘ATS方法的演进脉络。
• 按核心机制对方法进行分类：基于频率、矩阵分解、基于图、主题建模、词嵌入、启发式规则、语言学规则、监督机器学习及强化学习，用于抽取式摘要。
• 生成式摘要分为基于语言学规则的方法与基于深度学习的序列到序列模型，重点强调注意力机制与Transformer架构。
• 按领域（如新闻、科技论文）、规模与标注方式对数据集进行评估，特别关注人工标注的黄金摘要的可获得性。
• 通过ROUGE、BLEU与人工评估分析评估方法，批判性讨论自动指标的局限性及标注者间差异性。
• 使用CNN/Daily Mail数据集开展实证练习，借助开源库（如Hugging Face、HuggingFace Transformers）训练并比较抽取式与生成式模型。

实验结果

研究问题

• RQ1 如何构建一个全面、基于引用的自动文本摘要方法分类体系，以克服研究碎片化问题？
• RQ2 抽取式与生成式摘要在方法论上存在哪些关键差异？这些差异如何影响摘要的质量与连贯性？
• RQ3 现有摘要数据集在领域、规模与标注质量方面有何差异？其在训练鲁棒模型方面的局限性是什么？
• RQ4 评估摘要输出的主要挑战是什么？为何尚未存在普遍接受的黄金标准评估指标？
• RQ5 如何利用开源库与实证基准，指导实践中摘要模型的实现与比较？

主要发现

• 抽取式摘要方法常因‘悬空’代词指代与句子碎片化而产生连贯性问题，尤其在抽取非相邻句子时更为明显。
• 生成式模型，尤其是带有注意力机制的序列到序列模型，能生成更简洁的摘要，但面临事实一致性与事实幻觉的挑战。
• 基于频率的模型受限于对词频的依赖，可能忽略通过罕见词或语义丰富的术语传达的重要信息。
• 语言学与基于规则的生成式模型严重依赖预定义结构与本体，限制了其在不同领域间的泛化能力。
• 深度学习模型需要大规模、高质量的标注数据集；迁移学习虽常被采用，但在领域相似性较低时未必有效。
• 评估仍是主要瓶颈：人工摘要在内容与表达上存在显著差异，导致ROUGE等自动指标在捕捉语义质量方面不完美且不一致。