[论文解读] Dialogue Discourse-Aware Graph Model and Data Augmentation for Meeting Summarization

Xiachong Feng, Xiaocheng Feng+2 more|arXiv (Cornell University)|Dec 7, 2020

Topic Modeling参考文献 25被引用 4

一句话总结

本文提出 DdaMS，一种对话话语感知图模型，通过关系图编码器显式捕捉会议中话语之间的交互关系；并提出 DdaDA，一种数据增强策略，利用问答关系生成伪摘要语料，使语料规模扩大 20 倍。该方法通过建模话语感知交互关系并在扩展数据上进行预训练，在 AMI 和 ICSI 会议摘要基准上实现了最先进性能。

ABSTRACT

Meeting summarization is a challenging task due to its dynamic interaction nature among multiple speakers and lack of sufficient training data. Existing methods view the meeting as a linear sequence of utterances while ignoring the diverse relations between each utterance. Besides, the limited labeled data further hinders the ability of data-hungry neural models. In this paper, we try to mitigate the above challenges by introducing dialogue-discourse relations. First, we present a Dialogue Discourse-Dware Meeting Summarizer (DDAMS) to explicitly model the interaction between utterances in a meeting by modeling different discourse relations. The core module is a relational graph encoder, where the utterances and discourse relations are modeled in a graph interaction manner. Moreover, we devise a Dialogue Discourse-Aware Data Augmentation (DDADA) strategy to construct a pseudo-summarization corpus from existing input meetings, which is 20 times larger than the original dataset and can be used to pretrain DDAMS. Experimental results on AMI and ICSI meeting datasets show that our full system can achieve SOTA performance. Our codes will be available at: https://github.com/xcfcode/DDAMS.

研究动机与目标

• 解决序列建模在会议摘要中的局限性，即无法捕捉话语之间动态、非线性的交互关系。
• 缓解会议摘要中的数据稀缺问题，即标注数据集规模远小于新闻摘要任务。
• 探索对话话语关系作为结构归纳偏置，以改善表示学习与摘要生成。
• 开发一种可扩展的数据增强策略，利用现有会议结构生成合成训练数据。
• 通过联合建模话语关系与数据扩展，在标准会议摘要基准上实现最先进性能。

提出的方法

• 构建包含三种节点类型（全局、话语、话语关系）的会议图，通过定义的对话话语关系建模话语间的交互。
• 设计图到序列的框架，通过关系图上的消息传递更新话语表示，捕捉长距离依赖。
• 实施对话话语感知数据增强（DdaDA）策略，将问答关系识别为伪摘要，并将后续话语视为伪会议。
• 利用生成的 20 倍大合成语料对 DdaMS 模型进行预训练，提升在低资源设置下的泛化能力与性能。
• 集成词级别与话语级别注意力机制，以增强表示学习与摘要生成。
• 使用 Adam 优化器进行训练，固定初始学习率为 0.001，dropout 率为 0.5，推理时采用 beam search 且 beam size 为 10。

实验结果

研究问题

• RQ1 建模对话话语关系是否能提升神经会议摘要模型的性能？
• RQ2 基于图的关系编码器在捕捉会议中话语之间的非线性、多轮交互方面有多有效？
• RQ3 对话话语感知数据增强在多大程度上能缓解会议摘要中的数据稀缺问题？
• RQ4 结合词级别与话语级别注意力机制是否能带来优于单独使用任一机制的摘要生成效果？
• RQ5 当某些话语关系被过滤后，模型的鲁棒性如何？对图的连贯性与性能有何影响？

主要发现

• DdaMS 模型在 AMI 数据集上达到最先进性能，ROUGE-1、ROUGE-2 与 ROUGE-L 分数分别为 51.42、20.99 与 24.89。
• 在 ICSI 数据集上，DdaMS 的 ROUGE-1、ROUGE-2 与 ROUGE-L 分数分别为 39.66、10.09 与 17.53，优于所有基线模型。
• 消融实验表明，词级别与话语级别注意力均至关重要，当移除词级别注意力时，ROUGE-1 分数下降 1.15 分。
• 即使过滤掉少量“无用”话语关系，性能亦出现下降，表明图的连贯性对关系完整性的敏感性。
• 案例研究显示，DdaMS 通过关注多个相关话语，更准确捕捉关键概念如“fruit”与“vegetable”，而仅依赖对话行为的模型则表现较弱。
• DdaDA 策略成功生成了 20 倍大的合成语料，支持有效预训练，并显著提升模型泛化能力。