[论文解读] Improved Document Modelling with a Neural Discourse Parser

Fajri Koto, Jey Han Lau+1 more|arXiv (Cornell University)|Nov 16, 2019

Topic Modeling参考文献 17被引用 4

一句话总结

本文提出基于话语结构理论（Rhetorical Structure Theory, RST）的神经话语解析方法，通过将文档建模为基本话语单元（Elementary Discourse Units, EDUs）来增强文档表征，从而捕捉结构化关系。该方法通过显式建模话语结构，超越注意力机制，在摘要生成和在线请愿书受欢迎程度预测任务中显著提升性能。

ABSTRACT

Despite the success of attention-based neural models for natural language generation and classification tasks, they are unable to capture the discourse structure of larger documents. We hypothesize that explicit discourse representations have utility for NLP tasks over longer documents or document sequences, which sequence-to-sequence models are unable to capture. For abstractive summarization, for instance, conventional neural models simply match source documents and the summary in a latent space without explicit representation of text structure or relations. In this paper, we propose to use neural discourse representations obtained from a rhetorical structure theory (RST) parser to enhance document representations. Specifically, document representations are generated for discourse spans, known as the elementary discourse units (EDUs). We empirically investigate the benefit of the proposed approach on two different tasks: abstractive summarization and popularity prediction of online petitions. We find that the proposed approach leads to substantial improvements in all cases.

研究动机与目标

• 为解决基于注意力机制的模型在捕捉长文档话语结构方面的局限性。
• 探究显式话语表征是否能提升文档级NLP任务的性能。
• 探索基于RST的话语解析在增强序列建模任务中文档表征的实用性。
• 评估话语感知表征对抽象摘要生成与在线请愿书受欢迎程度预测的影响。

提出的方法

• 该方法采用神经话语解析器从文档中提取话语结构理论（Rhetorical Structure Theory, RST）关系，将基本分析单元识别为话语基本单元（Elementary Discourse Units, EDUs）。
• 按EDU生成文档表征，通过话语感知编码捕捉局部与关系性话语结构。
• 将话语感知表征整合到下游模型中，用于抽象摘要生成与受欢迎程度预测任务。
• 用话语结构化表征替代或增强标准序列到序列的注意力机制，以更好地建模长距离依赖关系。
• 模型在文档级任务上端到端训练，话语结构作为归纳偏置以提升泛化能力。
• 该方法在两个不同任务上进行评估：抽象摘要生成与在线请愿书受欢迎程度预测。

实验结果

研究问题

• RQ1 通过RST表示的话语结构能否提升神经模型在文档级表征学习中的性能？
• RQ2 在抽象摘要生成任务中，引入话语感知表征是否优于标准注意力机制模型？
• RQ3 话语结构在多大程度上提升了在线请愿书受欢迎程度的预测能力？
• RQ4 话语感知表征与潜在空间匹配在建模文档-摘要关系方面相比如何？
• RQ5 话语解析能否作为长文档序列建模的通用增强方法？

主要发现

• 所提出的对话感知表征方法在抽象摘要任务中带来显著的性能提升。
• 该方法在预测在线请愿书受欢迎程度方面取得显著增益，表明对文档结构与意图的建模更加有效。
• 引入基于RST的话语解析可显著增强文档表征，其效果超越仅依赖注意力机制所能达到的水平。
• 话语感知模型在性能上优于仅依赖源文档与摘要之间潜在空间匹配的标准化序列到序列模型。
• 在抽象摘要生成与受欢迎程度预测任务中，性能提升均具有一致性，证明了该方法的通用性。