[论文解读] Abstractive Summarization of Spoken and Written Conversation.

Prakhar Ganesh, Saket Dingliwal|arXiv (Cornell University)|Feb 5, 2019

Topic Modeling参考文献 34被引用 13

一句话总结

本文提出了一种用于口语和书面对话的生成式摘要系统，该系统使用序列标注识别话语关系，将这些关系编码为段落表示，并应用基于注意力的指针网络生成简洁的生成式摘要。该方法在ROUGE-1和ROUGE-2 F值上达到了与先前工作中的抽取式摘要模型相当的性能。

ABSTRACT

Nowadays, lots of information is available in form of dialogues. We propose a novel abstractive summarization system for conversations. We use sequence tagging of utterances for identifying the discourse relations of the dialogue. After aptly capturing these relations in a paragraph, we feed it into an Attention-based pointer network to produce abstractive summaries. We obtain ROUGE-1, 2 F-scores similar to those of extractive summaries of various previous works.

研究动机与目标

• 为解决从日益普遍的口语和书面对话中生成生成式摘要的挑战。
• 建模对话中话语之间的语篇关系，以提升摘要的连贯性和相关性。
• 开发一种神经网络架构，通过利用话语感知编码和注意力机制，生成流畅的生成式摘要。
• 在生成式摘要的更高复杂度背景下，实现与抽取式方法相当的摘要性能。

提出的方法

• 对话语进行序列标注，以识别对话中的话语关系，如解释、对比或因果关系。
• 利用识别出的话语关系将对话结构化为连贯的段落表示。
• 在话语结构化的段落上训练基于注意力的指针网络，逐个标记生成生成式摘要。
• 模型在解码过程中使用注意力机制聚焦于输入的相关部分，从而实现生成式生成。
• 该架构端到端训练，以优化ROUGE得分，且无需显式的抽取式监督。

实验结果

研究问题

• RQ1 话语关系识别能否提升对话文本中生成式摘要的质量？
• RQ2 将话语结构整合到输入表示中，对摘要性能有何影响？
• RQ3 基于注意力的指针网络能否在性能与抽取式基线相当的前提下，从对话数据中生成高质量的生成式摘要？
• RQ4 话语感知编码在多大程度上减少了冗余并提升了生成摘要的连贯性？

主要发现

• 所提出的模型在ROUGE-1和ROUGE-2 F值上达到了与先前工作中抽取式摘要系统相当的水平。
• 话语关系标注的整合增强了输入表示的结构连贯性，从而支持了更优的摘要生成。
• 基于注意力的指针网络通过选择性关注相关的话语单元，有效生成了生成式摘要。
• 该模型表明，话语感知编码可在无需抽取式监督的情况下提升摘要质量。