[论文解读] Abstractive Dialogue Summarization with Sentence-Gated Modeling Optimized by Dialogue Acts

Chih-Wen Goo, Yun-Nung Chen|arXiv (Cornell University)|Sep 15, 2018

Topic Modeling参考文献 41被引用 6

一句话总结

本文提出了一种新颖的句子门控神经模型，通过显式整合对话行为作为交互信号，以提升生成式对话摘要的质量。通过在摘要条件下的门控机制中联合优化摘要生成与对话行为预测，该模型在AMI会议语料库上实现了SOTA的ROUGE得分，证明了对话行为为生成多角色会议的高层次、生成式摘要提供了关键线索。

ABSTRACT

Neural abstractive summarization has been increasingly studied, where the prior work mainly focused on summarizing single-speaker documents (news, scientific publications, etc). In dialogues, there are different interactions between speakers, which are usually defined as dialogue acts. The interactive signals may provide informative cues for better summarizing dialogues. This paper proposes to explicitly leverage dialogue acts in a neural summarization model, where a sentence-gated mechanism is designed for modeling the relationship between dialogue acts and the summary. The experiments show that our proposed model significantly improves the abstractive summarization performance compared to the state-of-the-art baselines on AMI meeting corpus, demonstrating the usefulness of the interactive signal provided by dialogue acts.

研究动机与目标

• 为解决会议领域中生成式对话摘要基准的缺乏，特别是高层次主题摘要的缺失。
• 探究对话行为（代表交互信号）是否能提升生成式摘要的性能。
• 设计一种神经模型，通过新颖的句子门控机制，联合优化对话行为预测与摘要生成。
• 分析对话行为如何影响摘要生成过程，并评估其相对于内容重叠的信号有效性。
• 基于基于主题的摘要，利用AMI会议语料库建立一个新的生成式对话摘要基准。

提出的方法

• 引入一种句子门控机制，建模对话行为与摘要生成之间的关系，使对话行为信号能够基于摘要输出进行条件化。
• 采用双向LSTM进行对话行为分类，与生成式摘要模型联合训练。
• 使用分层注意力seq2seq架构进行摘要生成，通过摘要注意力机制增强对关键话语的聚焦。
• 采用联合优化策略，使模型在生成摘要的同时同步预测对话行为，从而提升两个任务的性能。
• 设计门控机制，根据当前摘要生成步骤动态调节对话行为的影响。
• 由于输入对话与生成式摘要之间的词汇重叠极低（1.2%），故排除指针-生成机制和覆盖损失，以避免引入噪声。

实验结果

研究问题

• RQ1 对话行为能否作为有效的交互信号，以提升生成式对话摘要性能？
• RQ2 与隐式话语建模相比，显式建模对话行为与摘要之间的关系对摘要性能有何影响？
• RQ3 所提出的句子门控机制是否优于未联合优化对话行为预测与摘要生成的基线模型？
• RQ4 不同类型的对话行为（如“Inform”、“Suggest”等）在摘要生成过程中对注意力分布的影响程度如何？
• RQ5 联合建模对话行为与摘要是否比独立建模或使用间接线索更有效？

主要发现

• 所提出的句子门控模型结合摘要注意力机制，在AMI会议语料库的所有ROUGE指标上均达到SOTA性能，显著优于所有基线模型。
• 与最佳基线组合（BLSTM + 话语感知分层注意力）相比，该模型的参数量减少了12%，表明模型效率更高。
• 话语感知分层模型优于标准seq2seq和指针-生成基线模型，证实了话语线索的价值，但仍逊于所提方法。
• 指针-生成网络表现最差，原因在于输入与摘要之间的词汇重叠极低（1.2%），导致复制机制和覆盖损失放大了噪声。
• 注意力可视化结果表明，模型能够学习聚焦于关键话语，特别是被标记为“Inform”对话行为的话语，与直观预期一致。
• 包含完整注意力机制（含对话行为注意力）的模型性能低于仅使用摘要注意力的模型，表明对话行为预测在很大程度上与上下文无关，从长距离上下文中获益较少。