[论文解读] Dialogue Discourse-Aware Graph Convolutional Networks for Abstractive Meeting Summarization.

Xiachong Feng, Xiaocheng Feng+3 more|arXiv (Cornell University)|Dec 7, 2020

Topic Modeling参考文献 41被引用 22

一句话总结

该论文提出对话话语感知图卷积网络（DDA-GCN）用于生成式会议摘要，通过将对话特有的话语结构建模为图结构，实现比序列方法更优的语义编码。该方法在基于问题-答案关系构建的伪摘要语料上进行预训练，于AMI数据集上取得了最先进性能。

ABSTRACT

Sequence-to-sequence methods have achieved promising results for textual abstractive meeting summarization. Different from documents like news and scientific papers, a meeting is naturally full of dialogue-specific structural information. However, previous works model a meeting in a sequential manner, while ignoring the rich structural information. In this paper, we develop a Dialogue Discourse-Aware Graph Convolutional Networks (DDA-GCN) for meeting summarization by utilizing dialogue discourse, which is a dialogue-specific structure that can provide pre-defined semantic relationships between each utterance. We first transform the entire meeting text with dialogue discourse relations into a discourse graph and then use DDA-GCN to encode the semantic representation of the graph. Finally, we employ a Recurrent Neural Network to generate the summary. In addition, we utilize the question-answer discourse relation to construct a pseudo-summarization corpus, which can be used to pre-train our model. Experimental results on the AMI dataset show that our model outperforms various baselines and can achieve state-of-the-art performance.

研究动机与目标

• 解决序列建模在捕捉会议中对话特异性结构信息方面的局限性。
• 通过将话语关系作为结构化图表示，改进生成式会议摘要。
• 提出一种利用问题-答案话语关系构建伪摘要语料的预训练策略。
• 通过利用话语感知图编码，在会议摘要基准测试中实现最先进性能。

提出的方法

• 利用预定义的对话话语关系将会议转录文本转换为话语图。
• 应用图卷积网络（GCNs）从话语图中编码语义表示，捕捉长距离依赖关系和结构化语义。
• 使用循环神经网络（RNN）解码器从编码后的图表示中生成生成式摘要。
• 通过利用问题-答案话语关系构建伪摘要语料，以支持模型的预训练。
• 采用端到端的序列到序列目标进行训练，并通过在伪语料上的预训练加以增强。

实验结果

研究问题

• RQ1 将对话话语关系建模为图结构是否能提升生成式会议摘要的性能？
• RQ2 利用问题-答案话语关系构建伪摘要语料在预训练中的有效性如何？
• RQ3 将结构化话语信息引入是否能带来优于序列建模的语义表征学习效果？
• RQ4 DDA-GCN模型在会议摘要基准测试中相较于现有序列方法的性能提升程度如何？

主要发现

• 所提出的DDA-GCN模型在AMI数据集上的生成式会议摘要任务中实现了最先进性能。
• 将对话话语关系以图结构表示，显著提升了语义表征学习效果，优于序列建模方法。
• 在基于问题-答案话语关系构建的伪摘要语料上进行预训练，显著增强了模型的泛化能力与性能。
• 该模型在捕捉复杂对话结构以及生成连贯、生成式摘要方面表现出卓越性能。