[论文解读] From Standard Summarization to New Tasks and Beyond: Summarization with Manifold Information

Shen Gao, Xiuying Chen+3 more|arXiv (Cornell University)|May 10, 2020

Topic Modeling参考文献 65被引用 5

一句话总结

本文综述了利用多种信息（如文档结构、查询、对话历史、模板和多媒体）的新兴文本摘要任务，超越了传统的抽取式/生成式摘要。论文提出了基于数据驱动的深度学习方法，包括基于模板的生成与多模态融合，在大规模数据集（如包含200万个样本的模式化摘要语料库）上取得了最先进结果。

ABSTRACT

Text summarization is the research area aiming at creating a short and condensed version of the original document, which conveys the main idea of the document in a few words. This research topic has started to attract the attention of a large community of researchers, and it is nowadays counted as one of the most promising research areas. In general, text summarization algorithms aim at using a plain text document as input and then output a summary. However, in real-world applications, most of the data is not in a plain text format. Instead, there is much manifold information to be summarized, such as the summary for a web page based on a query in the search engine, extreme long document (e.g., academic paper), dialog history and so on. In this paper, we focus on the survey of these new summarization tasks and approaches in the real-world application.

研究动机与目标

• 为填补关于融合多种信息（如文档结构和外部知识）的摘要任务系统性文献的空白。
• 综述八项新兴摘要任务：流式摘要、时间线摘要、极长文档摘要、对话摘要、基于查询的摘要、包含评论的摘要、基于模板的摘要以及多模态摘要。
• 提出基于数据驱动的神经网络方法，在这些复杂场景中优于传统特征工程方法。
• 全面概述新兴摘要应用的问题形式化、数据收集与模型架构。
• 突出展示构建面向真实世界非标准输入格式的高级摘要系统所取得的最新进展与未来方向。

提出的方法

• 提出八项新兴摘要任务的分类体系，区分包含文档结构的任务与整合额外知识的任务。
• 引入基于深度学习的模型，利用注意力机制将模板、查询或视觉输入的信息与源文档融合。
• 采用序列到序列模型结合多模态注意力机制，从文本和图像或视频输入生成摘要。
• 应用图像注意力机制与上下文过滤器，减少图像摘要中无关视觉特征带来的噪声。
• 利用层次注意力机制，将来自3D卷积神经网络（如ResNeXt-101）的视频表征整合到文本生成模型中。
• 利用大规模模式化摘要数据集（200万个以上样本）训练模型，使其学习可重用的摘要模板与关键事实提取。

实验结果

研究问题

• RQ1 摘要系统如何有效整合查询、文档结构和多媒体内容等多源信息？
• RQ2 将标准摘要扩展到对话历史或带查询的网页等复杂真实输入格式时，面临哪些关键挑战？
• RQ3 在这些新兴摘要任务中，基于数据驱动的深度学习方法与传统基于规则或特征工程的方法相比表现如何？
• RQ4 所学习的模板以及源文档与模板文档之间的依赖建模在提升摘要质量方面发挥什么作用？
• RQ5 如何有效融合视觉与视频数据以提升生成式摘要的性能？

主要发现

• 所提出的基于模板的方法结合依赖建模，在包含2,003,390对文档-摘要的大规模模式化摘要数据集上达到最先进性能。
• 采用图像与视频编码器结合注意力机制的多模态摘要模型，通过引入相关视觉内容提升了摘要质量。
• 图像注意力过滤器与上下文过滤器有效减少了无关视觉特征带来的噪声，增强了图像摘要的鲁棒性。
• 采用3D卷积神经网络（如ResNeXt-101）与层次注意力机制的视频摘要模型，实现了视频内容与生成摘要之间更好的对齐。
• 神经生成摘要模型在ROUGE分数上优于传统抽取式与改写式方法，最佳模型在CNN/DailyMail数据集上达到43.25 ROUGE-1、20.24 ROUGE-2与39.63 ROUGE-L。
• 在基于查询的摘要中引入查询感知注意力机制，相比无查询感知方法，生成的摘要更具相关性与聚焦性。