[论文解读] Topic-aware Pointer-Generator Networks for Summarizing Spoken Conversations

Zhengyuan Liu, Angela Ng+3 more|arXiv (Cornell University)|Oct 3, 2019

Topic Modeling参考文献 35被引用 7

一句话总结

本文提出了一种主题感知的指针-生成网络，通过将层次化主题建模整合到序列到序列框架中，提升了对口语对话的摘要生成效果。通过利用主题级注意力机制以及指针-生成网络结合抽取式与生成式生成的能力，该模型在ROUGE指标上达到最先进水平，显著优于基线模型，并在低资源和噪声环境下展现出更优的学习效率与鲁棒性。

ABSTRACT

Due to the lack of publicly available resources, conversation summarization has received far less attention than text summarization. As the purpose of conversations is to exchange information between at least two interlocutors, key information about a certain topic is often scattered and spanned across multiple utterances and turns from different speakers. This phenomenon is more pronounced during spoken conversations, where speech characteristics such as backchanneling and false-starts might interrupt the topical flow. Moreover, topic diffusion and (intra-utterance) topic drift are also more common in human-to-human conversations. Such linguistic characteristics of dialogue topics make sentence-level extractive summarization approaches used in spoken documents ill-suited for summarizing conversations. Pointer-generator networks have effectively demonstrated its strength at integrating extractive and abstractive capabilities through neural modeling in text summarization. To the best of our knowledge, to date no one has adopted it for summarizing conversations. In this work, we propose a topic-aware architecture to exploit the inherent hierarchical structure in conversations to further adapt the pointer-generator model. Our approach significantly outperforms competitive baselines, achieves more efficient learning outcomes, and attains more robust performance.

研究动机与目标

• 为解决口语对话摘要的挑战，此类对话具有信息密度低、话题漂移以及频繁出现的回应性话语（如附和性回应）和重说现象。
• 克服现有句子级抽取方法在捕捉对话中分散的多轮话题信息方面的局限性。
• 通过引入主题感知的层次化建模，将先前用于文本摘要的指针-生成网络适配于口语对话摘要任务。
• 提升在长序列和噪声对话中的学习效率、鲁棒性，以及在低资源训练条件下的性能表现。

提出的方法

• 该模型采用指针-生成网络，能够动态在直接从源文本复制词语与从词汇表生成新词之间切换，从而有效处理 OOV（未登录词）并实现精确的信息提取。
• 引入主题级注意力机制，通过关注与主题连贯性相关的对话片段来引导解码器，提升对关键内容的关注度。
• 该架构采用层次化建模方式：将话语分组为话题片段，注意力机制在片段层级运行，以使摘要生成与话题流保持一致。
• 指针-生成网络的切换概率 $p_{\text{gen}}$ 通过门控机制计算，基于源上下文和隐藏状态平衡复制与生成行为。
• 模型采用带调度采样的交叉熵损失进行端到端训练，并引入覆盖机制以减少生成摘要中的重复现象。
• 主题感知注意力分数 $a^{\text{seg}}$ 通过在主题片段上使用软注意力机制计算，实现在解码过程中话题之间的平滑过渡。

实验结果

研究问题

• RQ1 指针-生成网络能否有效适配于信息密度低且话题频繁切换的口语对话摘要任务？
• RQ2 引入主题级注意力机制如何提升对话摘要模型的性能与鲁棒性？
• RQ3 所提出的架构是否在低资源训练条件下实现了更好的学习效率与泛化能力？
• RQ4 主题感知建模在多大程度上减少了生成摘要中无关或噪声内容的引入？

主要发现

• 所提出的 PG-Net+TA 模型在 ROUGE-1、ROUGE-2 和 ROUGE-L 上分别取得 49.70、39.32 和 45.37 的得分，显著优于基线模型 PG-Net（42.33、28.23、38.14）。
• 在插入了无关句子的长篇、噪声测试集上评估时，该模型在 ROUGE-L F1 指标上相比基线模型提升 14.88 分。
• 在低资源训练场景（3k–20k 个样本）下，PG-Net+TA 展现出更陡峭的学习曲线，且持续优于基线模型，体现出优异的样本效率。
• 该模型收敛速度更快，在前 7,000 个训练批次内损失下降速度明显快于注意力机制的 seq2seq 基线模型。
• 可视化结果表明，指针-生成网络能恰当地在复制与生成之间切换，对症状属性和标点符号等源词具有高复制概率。
• 主题级注意力分数在解码过程中展现出平滑的话题过渡，与对话中实际的话题演进一致，并有效过滤掉非关键细节。