[论文解读] StructSum: Incorporating Latent and Explicit Sentence Dependencies for Single Document Summarization.

Vidhisha Balachandran, Artidoro Pagnoni+4 more|arXiv (Cornell University)|Mar 1, 2020

Topic Modeling参考文献 29被引用 6

一句话总结

该论文提出 StructSum，一种神经抽象摘要模型，通过结合结构感知编码器对潜在句间依赖关系进行建模，以及显式共指图来表示句间共指关系，从而提升摘要质量和可解释性。在 CNN/DM 数据集上，StructSum 减少了对长序列的复制，提升了内容丰富度，并在保持相近摘要长度的同时增强了抽象性。

ABSTRACT

Traditional preneural approaches to single document summarization relied on modeling the intermediate structure of a document before generating the summary. In contrast, the current state of the art neural summarization models do not preserve any intermediate structure, resorting to encoding the document as a sequence of tokens. The goal of this work is two-fold: to improve the quality of generated summaries and to learn interpretable document representations for summarization. To this end, we propose incorporating latent and explicit sentence dependencies into single-document summarization models. We use structure-aware encoders to induce latent sentence relations, and inject explicit coreferring mention graph across sentences to incorporate explicit structure. On the CNN/DM dataset, our model outperforms standard baselines and provides intermediate latent structures for analysis. We present an extensive analysis of our summaries and show that modeling document structure reduces copying long sequences and incorporates richer content from the source document while maintaining comparable summary lengths and an increased degree of abstraction.

研究动机与目标

• 通过保留文档级结构来提升神经抽象摘要的质量。
• 学习能反映底层句间关系的可解释文档表征。
• 减少对源文档中长跨度内容的复制依赖。
• 在摘要生成中同时整合潜在（隐式）和显式（基于共指）的句间依赖关系。
• 在提升抽象性和内容多样性的同时保持摘要长度不变。

提出的方法

• 使用结构感知编码器，通过建模文档中句子的层次化和关系结构，来诱导潜在的句间关系。
• 构建显式的共指提及图，以表示实体和提及之间的跨句共指链接。
• 将共指图注入编码器，以显式句法和语义依赖关系丰富句子表征。
• 在编码阶段结合潜在结构与显式结构，生成更具信息量的上下文表征。
• 采用标准序列到序列目标端到端训练模型，用于抽象摘要生成。
• 在解码过程中使用注意力机制，同时关注潜在结构模式和显式共指链接。

实验结果

研究问题

• RQ1 建模潜在句间依赖关系是否能提升神经抽象摘要的质量和可解释性？
• RQ2 在多大程度上，引入显式共指图能减少对源文本的复制？
• RQ3 同时整合潜在与显式结构对摘要抽象性和内容覆盖度有何影响？
• RQ4 所提出方法是否在提升内容丰富度和多样性的同时保持摘要长度不变？
• RQ5 所诱导的潜在结构是否可被有意义地分析与解释？

主要发现

• 在 CNN/DM 数据集上，StructSum 在摘要质量方面优于标准神经基线模型。
• 与基线模型相比，该模型减少了从源文档中复制长文本跨度的现象。
• StructSum 在保持相近摘要长度的同时，从源文档中引入了更丰富的内容。
• 同时整合潜在与显式句间依赖关系，显著提升了生成摘要的抽象程度。
• 所诱导的潜在结构具有可解释性，并为文档级依赖关系提供了有意义的洞察。
• 大量分析结果证实，建模文档结构能有效提升内容多样性和连贯性。