[论文解读] Meeting Summarization: A Survey of the State of the Art

Lakshmi Prasanna Kumar, Arman Kabiri|arXiv (Cornell University)|Dec 16, 2022

Topic Modeling被引用 4

一句话总结

本综述全面概述了会议摘要技术，涵盖抽取式与生成式方法、数据集、评估指标以及排行榜上的模型性能。它指出了事实不一致、长输入处理和标注数据缺乏等关键挑战，同时展望了未来研究方向，包括角色感知摘要和事实一致性提升。

ABSTRACT

Information overloading requires the need for summarizers to extract salient information from the text. Currently, there is an overload of dialogue data due to the rise of virtual communication platforms. The rise of Covid-19 has led people to rely on online communication platforms like Zoom, Slack, Microsoft Teams, Discord, etc. to conduct their company meetings. Instead of going through the entire meeting transcripts, people can use meeting summarizers to select useful data. Nevertheless, there is a lack of comprehensive surveys in the field of meeting summarizers. In this survey, we aim to cover recent meeting summarization techniques. Our survey offers a general overview of text summarization along with datasets and evaluation metrics for meeting summarization. We also provide the performance of each summarizer on a leaderboard. We conclude our survey with different challenges in this domain and potential research opportunities for future researchers.

研究动机与目标

• 提供对会议摘要领域近期进展的全面综述，以应对从虚拟会议转录文本中高效提取信息的日益增长的需求。
• 分析并比较专为多说话人、对话式会议数据设计的抽取式与生成式摘要技术。
• 使用标准指标（如 ROUGE）在主要公开数据集上评估并基准化最先进模型的性能。
• 识别会议摘要领域中的关键挑战，包括事实不一致、长上下文处理以及标注数据集稀缺问题。
• 概述未来研究方向，包括角色感知摘要、事实一致性改进以及长会议的可扩展性。

提出的方法

• 本综述系统性回顾了40余篇关于会议摘要的论文，重点聚焦于抽取式与生成式方法。
• 采用标准自动评估指标（如 ROUGE-1、ROUGE-2 和 ROUGE-L）在多个基准数据集上评估摘要模型性能。
• 整合并报告了公开文献及原创论文在 AMI、ICSI、QMSum 和 ConvoSumm 数据集上的性能结果，统一发布于集中式排行榜。
• 重点分析的关键模型组件包括检索增强生成（如 RetrievalSum）、长上下文变换器（如 Longformer-BART-arg）以及微调的大语言模型（如 DIALOGLM）。
• 本综述探讨了架构创新，如 Group Alignment 和 Rouge Credit 机制，这些机制可提升摘要质量与风格迁移效果。
• 讨论了输入结构、说话人角色以及领域特定术语对摘要性能的影响，尤其在学术与技术会议中表现显著。

实验结果

研究问题

• RQ1 在抽取式与生成式会议摘要中，主导技术是什么？它们在性能与设计上存在哪些差异？
• RQ2 最先进模型在 AMI、ICSI、QMSum 和 ConvoSumm 等主要基准数据集上的表现如何？
• RQ3 哪些关键挑战阻碍了会议摘要的发展，包括事实不一致与长上下文处理问题？
• RQ4 说话人角色与领域特定术语如何影响生成摘要的质量与连贯性？
• RQ5 在提升事实一致性和可扩展性方面，未来最具前景的研究方向是什么？

主要发现

• 在 AMI 数据集上，RetrievalSum 达到最高的 ROUGE-1 得分 56.26，因其采用 Group Alignment 和 Rouge Credit 机制，优于其他生成式模型。
• 在 ICSI 数据集上，DIALOGLM 达到 ROUGE-1 得分 49.56，显著高于 HMNet 的 46.59，领先 2.97 分。
• Koay 等人（2020b）在 ICSI 上取得 ROUGE-1 得分 60.7，表明领域特定术语与模型简洁性具有显著影响。
• Longformer-BART-arg 作为支持长达 16K token 的长上下文模型，在 AMI 上表现具有竞争力，在 ICSI 上表现强劲，但未超越 DIALOGLM。
• 尽管技术不断进步，事实不一致（幻觉）仍是生成式会议摘要中的主要挑战。
• 缺乏公开可用的标注数据集以及行业会议的专有性质，限制了当前模型的可扩展性与可复现性。