[论文解读] Unsupervised Neural Multi-document Abstractive Summarization

Eric Chu, Peter J. Liu|arXiv (Cornell University)|Oct 12, 2018

Topic Modeling参考文献 11被引用 19

一句话总结

本文提出了一种无监督神经抽象摘要模型，能够从成对的评论中生成高质量摘要，且无需任何标注摘要。通过使用共享表示解码的序列自编码器，该模型直接从输入评论中学习生成流畅、抽象且具有情感代表性的摘要，在自动评估和人工评估中均优于抽取式基线模型。

ABSTRACT

Abstractive summarization has been studied using neural sequence transduction methods with datasets of large, paired document-summary examples. However, such datasets are rare and the models trained from them do not generalize to other domains. Recently, some progress has been made in learning sequence-to-sequence mappings with only unpaired examples. In our work, we consider the setting where there are only documents (product or business reviews) with no summaries provided, and propose an end-to-end, neural model architecture to perform unsupervised abstractive summarization. Our proposed model consists of an auto-encoder where the mean of the representations of the input reviews decodes to a reasonable summary-review while not relying on any review-specific features. We consider variants of the proposed architecture and perform an ablation study to show the importance of specific components. We show through automated metrics and human evaluation that the generated summaries are highly abstractive, fluent, relevant, and representative of the average sentiment of the input reviews. Finally, we collect a reference evaluation dataset and show that our model outperforms a strong extractive baseline.

研究动机与目标

• 开发一种端到端神经模型，用于抽象摘要生成，且无需任何成对文档-摘要标注。
• 通过仅在未配对评论上进行训练，避免依赖领域特定标注数据，实现跨领域的泛化能力。
• 生成流畅、抽象、相关且能代表输入评论平均情感的摘要。
• 通过新收集的参考数据集进行自动指标和人工标注，评估模型性能。

提出的方法

• 该模型采用序列自编码器架构，将输入评论编码为共享表示。
• 将编码表示的均值通过序列到序列解码器解码为摘要。
• 通过重建损失端到端训练模型，使解码摘要与输入评论分布对齐。
• 该架构不使用评论特定特征，仅依赖共享表示生成摘要。
• 探索了多种架构变体，包括不同的注意力机制和归一化策略。
• 通过消融研究评估各组件对最终摘要质量的贡献。

实验结果

研究问题

• RQ1 无监督神经模型能否在无需任何标注摘要的情况下，从未配对评论中生成抽象摘要？
• RQ2 基于自编码器的表示学习在捕捉关键内容和情感方面有多有效？
• RQ3 注意力机制和归一化等架构组件在多大程度上提升了摘要质量？
• RQ4 在流畅性、相关性和抽象性方面，生成的摘要与抽取式基线相比如何？

主要发现

• 人类评估确认，所提出的模型生成的摘要具有高度抽象性、流畅性，并与输入评论高度相关。
• 模型生成的摘要能有效代表输入评论中表达的平均情感，表明其具备良好的情感捕捉能力。
• 在自动指标和人工评估中，该模型均优于强基线抽取式模型。
• 消融研究证实，共享表示和自编码目标等关键组件对性能至关重要。
• 由于其无监督性质且不依赖标注数据，该模型在跨领域场景下表现出良好的泛化能力。