[论文解读] A Two-Phase Approach for Abstractive Podcast Summarization

Chujie Zheng, Kunpeng Zhang+2 more|arXiv (Cornell University)|Nov 16, 2020

Topic Modeling参考文献 11被引用 6

一句话总结

本文提出了一种两阶段生成式播客摘要方法，首先利用基于ROUGE和主题增强的方法筛选关键句子，以减少冗余并保留语义，然后通过微调的distilBART模型生成摘要。该方法在TREC 2020播客赛道上达到最先进性能，其ROUGE分数和人工评估结果均优于平均水平，其中一种方法的质量评分高出14.3%。

ABSTRACT

Podcast summarization is different from summarization of other data formats, such as news, patents, and scientific papers in that podcasts are often longer, conversational, colloquial, and full of sponsorship and advertising information, which imposes great challenges for existing models. In this paper, we focus on abstractive podcast summarization and propose a two-phase approach: sentence selection and seq2seq learning. Specifically, we first select important sentences from the noisy long podcast transcripts. The selection is based on sentence similarity to the reference to reduce the redundancy and the associated latent topics to preserve semantics. Then the selected sentences are fed into a pre-trained encoder-decoder framework for the summary generation. Our approach achieves promising results regarding both ROUGE-based measures and human evaluations.

研究动机与目标

• 解决长篇、对话式且嘈杂的播客转录文本超出标准Transformer模型上下文长度限制的挑战。
• 克服现有生成式摘要模型在处理口语化、广告密集且冗长的播客内容时的局限性。
• 开发一种句子筛选机制，以识别语义重要且不冗余的内容，从而提升生成式摘要质量。
• 通过在筛选过程中整合基于参考摘要（ROUGE）和主题级别的特征，提升摘要的语义连贯性和覆盖度。
• 通过结合抽取式过滤与生成式摘要的流水线方法，在TREC 2020播客赛道基准上实现卓越性能。

提出的方法

• 采用两阶段流水线：首先，利用基于ROUGE的相似度与潜在主题建模，从长篇播客转录文本中筛选关键句子，以保留语义内容。
• 使用句子级别的ROUGE分数识别最接近参考摘要的句子，以最小化冗余。
• 引入主题建模（如LDA或类似方法），确保所选句子能代表播客的核心主题。
• 将筛选出的句子输入经过微调的预训练distilBART编码器-解码器模型，用于生成式摘要。
• 利用HuggingFace的distilBART-cnn-12-6模型，在过滤后的输入上实现高效且有效的生成式摘要。
• 结合抽取式过滤与生成式摘要，以在事实覆盖度与自然语言流畅性之间取得平衡。

实验结果

研究问题

• RQ1 如何有效识别长篇、对话式播客转录文本中重要且不冗余的句子？
• RQ2 基于ROUGE的句子筛选在多大程度上能提升播客生成式摘要的性能？
• RQ3 在筛选过程中引入主题级别特征，如何增强所选句子的语义连贯性与覆盖度？
• RQ4 两阶段抽取式-生成式方法是否能在长篇播客数据上超越端到端的生成式模型？
• RQ5 高质量播客摘要的关键特征是什么？这些特征如何在自动摘要中系统性地捕捉？

主要发现

• 所提出的两阶段方法在TREC 2020播客赛道的人工评估中获得1.12分的评分，比平均参赛者得分0.98高出14.3%。
• 方法3在人工质量评分中表现最佳，其中7.82%的摘要被评为‘优秀’，21.79%被评为‘良好’，在高质量类别中优于其他方法。
• 所有四项提交的方法在至少六项人工评估问题中表现优于平均水平，表明其在捕捉主持人、主题和播客格式等关键要素方面表现强劲。
• 模型在Q1（主要人物姓名）上得分为0.60，在Q3（主要主题）上得分为0.70，在Q5（播客标题语境）上得分为0.68，表明其在捕捉核心内容方面表现优异。
• 该方法显著减少了冗余，如Q6（冗余信息）得分较低，仅有4.0%的摘要被评为具有高冗余性。
• 该方法在生成流畅且结构良好的摘要方面表现出稳健性，如Q7（英语表达良好）和Q8（适当句末断句）得分较高，其中Q7在各方法中平均得分为0.74。