[论文解读] Improving Multi-Document Summarization via Text Classification

Ziqiang Cao, Wenjie Li+2 more|arXiv (Cornell University)|Nov 28, 2016

Topic Modeling被引用 43

一句话总结

本文提出 TCSum，一种新颖的多文档摘要系统，通过利用文本分类数据来提升摘要性能，方法是学习共享的分布式文档表征，并应用类别特定的变换以生成具有适当风格的摘要。该方法在 DUC 基准测试上实现了最先进（SOTA）的 ROUGE 分数，且无需人工设计特征，展示了在不同文档类别间改进风格适应能力的能力。

ABSTRACT

Developed so far, multi-document summarization has reached its bottleneck due to the lack of sufficient training data and diverse categories of documents. Text classification just makes up for these deficiencies. In this paper, we propose a novel summarization system called TCSum, which leverages plentiful text classification data to improve the performance of multi-document summarization. TCSum projects documents onto distributed representations which act as a bridge between text classification and summarization. It also utilizes the classification results to produce summaries of different styles. Extensive experiments on DUC generic multi-document summarization datasets show that, TCSum can achieve the state-of-the-art performance without using any hand-crafted features and has the capability to catch the variations of summary styles with respect to different text categories.

研究动机与目标

• 解决多文档摘要中因标注训练数据有限而导致的性能瓶颈。
• 通过利用丰富的文本分类数据集来学习更优的文档表征，从而提升摘要质量。
• 通过建模不同文档类别间摘要结构的差异，实现风格自适应摘要。
• 开发一种数据驱动的摘要系统，消除对人工设计语言特征的依赖。

提出的方法

• TCSum 在文本分类与摘要任务之间共享一个文档嵌入模型，使用基于 CNN 的分类器将文档映射为分布式表征。
• 相同的文档嵌入用于摘要生成，基于预测的文档类别应用变换层以适应摘要风格。
• 学习类别特定的变换矩阵，将文档嵌入映射为显著性得分，使其与参考摘要的语义对齐。
• 模型采用端到端神经训练，无需人工设计特征，完全依赖学习到的表征和分类标签。
• 通过变换后的嵌入预测句子显著性，其排序过程由类别感知的变换机制引导。

实验结果

研究问题

• RQ1 利用文本分类数据能否提升多文档摘要系统的性能？
• RQ2 共享的分布式表征能否有效连接文本分类与摘要任务？
• RQ3 模型能否基于文档类别学习生成具有适当风格的摘要？
• RQ4 一种无需人工设计特征的数据驱动方法能否在摘要任务中实现最先进性能？

主要发现

• TCSum 在 DUC 通用多文档摘要基准测试上实现了最先进性能，且未使用任何人工设计特征。
• 该模型成功捕捉了不同文档类别（如自然灾害、传记、政治）之间摘要风格的差异。
• 类别特定的变换矩阵通过将显著性预测与各类别预期的内容焦点对齐，提升了摘要质量。
• 即使在类别外的文档上，变换矩阵仍能保留关键风格元素（如自然灾害摘要中的日期和损失指标），表现出强鲁棒性。
• 该模型优于现有依赖大量工程化特征的学习型系统，证明了从文本分类进行迁移学习的有效性。