[论文解读] End-to-End Abstractive Summarization for Meetings.

Chenguang Zhu, Ruochen Xu+2 more|arXiv (Cornell University)|Apr 4, 2020

Topic Modeling参考文献 22被引用 13

一句话总结

该论文提出了一种针对会议转录文本的端到端抽象摘要模型，采用角色感知的层次化网络以捕捉说话人差异和长距离上下文。在 ICSI 数据集上，该模型的 ROUGE-1 得分为 39.51%，在自动评估和人工评估中均显著优于先前方法。

ABSTRACT

With the abundance of automatic meeting transcripts, meeting summarization is of great interest to both participants and other parties. Traditional methods of summarizing meetings depend on complex multi-step pipelines that make joint optimization intractable. Meanwhile, there are a handful of deep neural models for text summarization and dialogue systems. However, the semantic structure and styles of meeting transcripts are quite different from articles and conversations. In this paper, we propose a novel end-to-end abstractive summary network that adapts to the meeting scenario. We design a role vector to depict the difference among speakers and a hierarchical structure to accommodate long meeting transcripts. Empirical results show that our model considerably outperforms previous approaches in both automatic metrics and human evaluation. For example, in the ICSI dataset, the ROUGE-1 score increases from 32.00% to 39.51%.

研究动机与目标

• 解决从风格和结构与新闻文章或对话显著不同的会议转录文本中生成高质量抽象摘要的挑战。
• 克服传统多阶段流水线方法在联合优化方面受限且难以建模说话人特异性贡献的局限。
• 设计一种神经架构，联合建模会议转录文本中的说话人角色与长序列依赖关系。
• 在自动指标和人工评估中，均提升现有方法的摘要生成性能。

提出的方法

• 引入角色向量以编码说话人身份，并区分会议中各参与者的贡献差异。
• 实施层次编码器，通过捕捉话语级和发言轮次级表示，建模长会议转录文本。
• 设计一个端到端可训练的抽象摘要网络，直接将转录文本映射为简洁摘要。
• 在解码过程中使用注意力机制，聚焦于相关话语和说话人角色。
• 采用序列到序列学习与交叉熵损失，进行端到端训练。
• 利用层次结构，在长时间对话中保持时间顺序与说话人感知的上下文。

实验结果

研究问题

• RQ1 端到端神经模型能否有效生成会议转录文本的抽象摘要，优于基于流水线的方法？
• RQ2 说话人特异性角色向量在多方会议中如何提升摘要质量？
• RQ3 层次化编码结构在建模长会议转录文本方面能提升到何种程度？
• RQ4 所提出的模型是否在 ICSI 等标准基准上，于自动评估与人工评估中均实现更优性能？

主要发现

• 该模型在 ICSI 数据集上达到 39.51% 的 ROUGE-1 得分，显著优于此前最先进方法的 32.00%。
• 人工评估确认，该模型生成的摘要在流畅性、信息量和相关性方面均优于先前方法。
• 角色向量的引入有助于更好地捕捉说话人特异性贡献，提升摘要的连贯性与内容选择能力。
• 层次化结构通过同时保留局部话语级与全局发言轮次级上下文，有效建模长会议。
• 该模型在多种会议场景中表现出稳健性能，表明其具备强大的泛化能力。
• 端到端训练范式实现了编码与解码的联合优化，生成摘要质量优于多阶段系统。